プロンプトキャッシュ

エージェントのセッションでは、同じシステム指示、ツール定義、記録の冒頭をリクエストに含めると内容が繰り返されます。詳細なツール定義を遅延するクライアントもあるため、繰り返されるプレフィックスはクライアントが送る内容によって異なります。キャッシュは、変更されていないプレフィックスを再処理して全額課金するのを防ぎます。

ただしキャッシュは前置き単位で働きます。並びの早い位置で何かを変えれば、それ以降はすべて新規に戻ります。コンテキストを組み立てる順序が、生のトークン数には現れない形でコストに響くのはこのためです。

つまり、生の集計とキャッシュ加重の集計は正反対の話をしうるということでもあります。生の入力を下げつつキャッシュを壊す変更は、請求を上げることがあります。どちらを測ったかを言わない比較は、比較ではありません。