分词器
分词器把文本切成模型读取及计费所用的 token，因此同一段文本在不同模型上可能得到不同的 token 数。
多数现代分词器从数据中学习切分方式。常见词语和代码片段可能成为单个 token，罕见标识符、特殊格式和许多非拉丁文字则可能拆成多个。词表在模型训练时确定，所以一个 token 计数只有连同所用模型一起说明才有意义。
不同代模型可能使用不同分词器。Anthropic 指出，截至 2026 年 9 月，Claude 4.7 及之后模型对同样文本产生的 token 数，比 Claude Sonnet 4.6 及更早模型大约多 30%，幅度随内容变化。Claude Opus 4.6 与 Opus 4.7 的每 token 标价相同，因此同一提示在新模型上的费用也可能仅因切分方式而增加。
这带来三点后果。换模型后，预算、上下文窗口估算和费用预测都须重新计数。比较每 token 标价时，还要考虑每个 token 能覆盖多少文本。四个字符约等于一个 token 等经验法则只适用于英文散文的粗略估算，不适合精确计算代码。
准确计数应使用服务商的工具。Anthropic 的 token 计数接口会按指定模型的分词器返回请求的输入 token 数，调用免费但受速率限制。其文档也说明，结果是估算值，可能与最终计费数字略有出入。