Budget de tokens
Un budget de tokens est un plafond dur sur la quantité de contexte admise dans une requête, appliqué avant l'envoi plutôt que négocié avec le modèle.
La distinction qui compte est celle entre un plafond et une préférence. Une préférence, un agent la dépasse dès qu'il se sent mal informé, c'est-à-dire toujours. Un plafond est un nombre auquel le contexte est ajusté, ce qui n'entre pas étant annoncé plutôt que retiré en silence.
Les budgets fonctionnent parce que rien à l'intérieur d'une boucle d'agent ne conclut jamais qu'il en sait désormais assez. Avec une fenêtre sans borne, un agent continue de lire, et chaque fichier lu est payé à chaque tour suivant de la session.
Le chiffre exact compte moins que le fait d'en avoir un. Un budget qui force un choix produit une sélection différente, et généralement meilleure, que pas de budget du tout.