キャッシュヒット率

これが、トークン数を費用に変える数字です。生の入力が同じ 2 つのリクエストでも、そのうちどれだけがすでにキャッシュされていたかによって、価格が数倍違いえます。

実務上、この率はリクエストの先頭の安定性で決まります。末尾だけが伸びる安定した前置きはよくキャッシュされ、並びの冒頭を書き換えるものはされません。

同じ作業の 2 通りのやり方を比べるとき、加重入力、つまり新規トークンを全量、キャッシュ済みトークンを割り引いた重みで足したものが、実際に支払う額に対応する測定です。生の入力は、引用しやすいだけの測定です。