Presupuesto de tokens
Un presupuesto de tokens es un techo duro sobre cuánto contexto puede entrar en una petición, aplicado antes de enviarla en vez de negociado con el modelo.
La distinción que importa es entre un techo y una preferencia. Una preferencia es algo que un agente supera cuando se siente poco informado, es decir, siempre. Un techo es un número al que se ajusta el contexto, informando de lo que no cupo en vez de descartarlo en silencio.
Los presupuestos funcionan porque nada dentro de un bucle de agente concluye nunca que ya sabe bastante. Con una ventana sin límite, un agente sigue leyendo, y cada archivo leído se paga en cada turno posterior de esa sesión.
La cifra exacta importa menos que tener una. Un presupuesto que fuerza una elección produce una selección distinta, y normalmente mejor, que ningún presupuesto.