トークン
トークンとは、言語モデルが読み取り、課金の単位とするもののことです。よく使われる単語、単語の断片、あるいは句読点にあたり、英語では平均しておおよそ 3 から 4 文字分です。
モデルは文字も単語も読んでいません。読んでいるのはトークン、つまりトークナイザがテキストを切り分けた断片です。頻出語はおおむね 1 語 1 トークンですが、まれな語、識別子、ラテン文字以外の表記は複数に切られます。getUserById は見た目より重く、日本語の一段落は同じ内容の英語より重くなります。
すべてがこの単位で数えられます。あなたの質問、一緒に送られるファイル、モデルの回答、そしてここまでの会話全体です。最後の点こそが、トークンを技術的な細部ではなくエージェントセッションのコスト単位にしています。履歴は毎ターン送り直されるので、早い段階で足した 1 トークンは何度も支払われます。
散文なら 1000 トークンあたり約 750 語が目安になります。ソースコードではこれより悪くなると考えてください。識別子も句読点もインデントも、すべて費用です。