コンテキストウィンドウ

これは上限であって、使ってよい枠ではありません。20 万トークンのウィンドウを持つモデルは、20 万トークンを渡されたからといってよく答えるわけではありません。渡されたものから答えるだけで、そのすべてがリクエストごとに課金されます。

ウィンドウが埋まるにつれて 2 つのことが劣化します。特定の事実を取り出す正確さは、周囲の無関係な材料の量が増えるほど下がり、中ほどにあるものでいちばん速く下がります。そして矛盾も起きやすくなります。材料が多いということは、そのうちの 2 か所が食い違う機会も多いということだからです。

したがって、大きなウィンドウは容量の改善であって品質の改善ではありません。より多く送ることを可能にしますが、より多く送るのを良い考えにはしません。