プロンプトキャッシュ

エージェントのセッションは極端に繰り返しが多く、同じシステム指示、同じツール定義、同じ記録の冒頭が毎ターン現れます。キャッシュとは、その変わらない先頭部分を再処理もせず、全額でも課金しないということです。

ただしキャッシュは前置き単位で働きます。並びの早い位置で何かを変えれば、それ以降はすべて新規に戻ります。コンテキストを組み立てる順序が、生のトークン数には現れない形でコストに響くのはこのためです。

つまり、生の集計とキャッシュ加重の集計は正反対の話をしうるということでもあります。生の入力を下げつつキャッシュを壊す変更は、請求を上げることがあります。どちらを測ったかを言わない比較は、比較ではありません。