$ glossaire capsul
Glossaire
Les mots qui décident du coût d'un agent de code, définis en une phrase chacun, puis expliqués.
- Token
- Un token est l'unité que lit et que facture un modèle de langage : un mot courant, un fragment de mot ou un signe de ponctuation, soit environ trois à quatre caractères en moyenne.
- Fenêtre de contexte
- La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut considérer d'un coup, instructions, conversation et tout ce qui accompagne la question compris.
- Tokens d'entrée et de sortie
- Les tokens d'entrée sont tout ce qui est envoyé au modèle lors d'une requête ; les tokens de sortie sont ce qu'il écrit en retour, et dans le travail d'agent l'entrée domine la facture d'un ordre de grandeur ou plus.
- Budget de tokens
- Un budget de tokens est un plafond dur sur la quantité de contexte admise dans une requête, appliqué avant l'envoi plutôt que négocié avec le modèle.
- Mise en cache des prompts
- La mise en cache des prompts permet à un fournisseur de réutiliser la forme déjà traitée d'un préfixe répété d'une requête à l'autre, en facturant ces tokens une fraction du tarif frais.
- Taux de succès du cache
- Le taux de succès du cache est la part des tokens d'entrée d'une requête servis depuis un cache de prompt plutôt que traités à neuf.
- Dégradation du contexte
- La dégradation du contexte est la baisse de qualité des réponses d'un modèle à mesure que son contexte grandit, par dilution de la matière pertinente, contradictions entre l'ancien et le neuf, et accumulation d'impasses.
- Boucle d'agent
- Une boucle d'agent est le cycle où un modèle appelle un outil, lit le résultat, et décide de la suite, en répétant jusqu'à produire une réponse.
- Appel d'outil
- Un appel d'outil est une demande structurée d'un modèle pour exécuter quelque chose en dehors de lui, comme lire un fichier ou lancer une commande, dont le résultat revient dans le contexte.
- Carte de dépôt
- Une carte de dépôt est un plan compressé d'une base de code, listant ses fichiers et les symboles qu'ils définissent, pour qu'un modèle situe les choses sans tout lire.
- Limite d'usage
- Une limite d'usage plafonne ce que l'on peut envoyer sur une fenêtre de temps, mesuré sur les tokens traités et non sur le nombre de messages envoyés.
- Agent de code en ligne de commande
- Un agent de code en ligne de commande est un programme de terminal qui permet à un modèle de lire, d'exécuter et de modifier des choses dans un répertoire de travail, sous les règles d'approbation que vous fixez.