Kontextfenster
Das Kontextfenster ist die maximale Zahl an Tokens, die ein Modell auf einmal berücksichtigen kann, samt Anweisungen, Gespräch und allem, was mit der Frage gesendet wird.
Es ist eine Obergrenze, kein Guthaben. Ein Modell mit zweihunderttausend Tokens Fenster antwortet nicht besser, wenn man ihm zweihunderttausend gibt; es antwortet aus dem, was es bekommt, und alles wird bei jeder Anfrage abgerechnet.
Zwei Dinge verschlechtern sich, während sich ein Fenster füllt. Die Trefferquote beim Auffinden einer bestimmten Tatsache sinkt, je mehr unbeteiligtes Material sie umgibt, und am schnellsten in der Mitte. Und Widersprüche werden wahrscheinlicher, denn mehr Material heißt mehr Gelegenheiten, dass zwei Teile davon einander widersprechen.
Größere Fenster sind daher ein Kapazitäts- und kein Qualitätsfortschritt. Sie machen es möglich, mehr zu senden. Sie machen es nicht zu einer guten Idee.