Fenêtre de contexte
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut considérer d'un coup, instructions, conversation et tout ce qui accompagne la question compris.
C'est un plafond, pas une allocation. Un modèle à deux cent mille tokens de fenêtre ne répond pas mieux quand on lui en donne deux cent mille ; il répond à partir de ce qu'on lui donne, et tout est facturé à chaque requête.
Deux choses se dégradent à mesure que la fenêtre se remplit. La justesse de récupération d'un fait précis baisse quand le volume de matière sans rapport augmente autour de lui, et elle baisse le plus vite pour ce qui se trouve au milieu. Et les contradictions deviennent plus probables : plus de matière, c'est plus de chances que deux parties se contredisent.
Une fenêtre plus grande est donc un progrès de capacité, pas de qualité. Elle rend possible d'envoyer davantage. Elle ne rend pas judicieux d'envoyer davantage.