Tokenbudget
Ein Tokenbudget ist eine harte Obergrenze dafür, wie viel Kontext in eine Anfrage darf, durchgesetzt vor dem Senden statt mit dem Modell ausgehandelt.
Der entscheidende Unterschied ist der zwischen Obergrenze und Vorliebe. Eine Vorliebe überschreitet ein Agent, sobald er sich schlecht informiert fühlt, also immer. Eine Obergrenze ist eine Zahl, auf die der Kontext zugeschnitten wird, wobei das Nichtpassende gemeldet statt stillschweigend verworfen wird.
Budgets wirken, weil innerhalb einer Agentenschleife nie etwas zu dem Schluss kommt, es wisse nun genug. Bei einem unbegrenzten Fenster liest ein Agent weiter, und jede gelesene Datei wird in jeder weiteren Runde dieser Sitzung bezahlt.
Die genaue Zahl zählt weniger, als überhaupt eine zu haben. Ein Budget, das eine Wahl erzwingt, führt zu einer anderen und meist besseren Auswahl als gar kein Budget.