Token(词元)

token 是语言模型读取并据以计费的单位:一个常用词、一个词的片段或一个标点,平均大致相当于三到四个英文字符。

模型读的既不是字符也不是词,而是 token,也就是分词器把文本切开后的碎片。常用词往往一个词一个 token;生僻词、标识符和非拉丁文字会被切成好几个。getUserById 比看上去重,一段日文也比同样内容的英文重。

一切都按这个方式计数:你的问题、随之发送的文件、模型的回答,以及到此为止的整段对话。最后这一项,正是让 token 成为代理会话成本单位、而非一个技术细节的原因。历史每一轮都会重发,所以早期多加的一个 token 会被反复付费。

对英文散文,一个常用的粗略换算是每一千 token 约合 750 词。对源代码则要打折:标识符、标点和缩进都在花钱。

全部术语