Ventana de contexto
La ventana de contexto es el número máximo de tokens que un modelo puede considerar a la vez, incluidas las instrucciones, la conversación y todo lo que acompaña a la pregunta.
Es un techo, no una asignación. Un modelo con una ventana de doscientos mil tokens no responde mejor cuando le das doscientos mil; responde a partir de lo que le des, y se te factura todo en cada petición.
Dos cosas se degradan según se llena una ventana. La precisión al recuperar un dato concreto baja cuando sube el volumen de material sin relación a su alrededor, y baja más deprisa en el medio. Y las contradicciones se hacen más probables, porque más material son más ocasiones de que dos partes se contradigan.
Las ventanas más grandes son, por tanto, una mejora de capacidad y no de calidad. Hacen posible enviar más. No hacen que enviar más sea buena idea.