入力トークンと出力トークン

この非対称性がすべてです。回答は数百から数千トークン。それを生んだコンテキストは日常的に数万トークンで、しかも回答と違って次のターンにも、その次のターンにも送り直されます。

モデルにもっと短く答えさせようという助言がコストにほとんど影響せず、何を送るかについての助言が大きく影響するのはこのためです。

入力はさらに、新規かキャッシュ済みかで価格が変わります。キャッシュされた入力は新規の何分の一かで課金されるため、生のトークン数が同じ 2 つのセッションでも費用は大きく違いえます。誠実な比較は、そのどちらを測ったのかを言わなければなりません。