Appel d'outil

Un appel d'outil est une demande structurée d'un modèle pour exécuter quelque chose en dehors de lui, comme lire un fichier ou lancer une commande, dont le résultat revient dans le contexte.

Les outils sont ce qui permet à un modèle d'agir plutôt que seulement de répondre. Le prix, c'est que chaque outil doit lui être décrit, dans la requête, avant de pouvoir servir. Un outil enregistré auquel la tâche en cours ne touche jamais occupe quand même de l'entrée à chaque tour.

Les résultats coûtent plus que les définitions. Une commande qui affiche deux mille lignes apporte deux mille lignes de contexte, et continue de les apporter jusqu'à la fin de la session.

Filtrer les sorties avant qu'elles n'atteignent le modèle est donc l'une des rares interventions à la fois simples et très rentables. head, grep, une option --quiet ou un filtre JSON coûtent tous moins cher que de demander au modèle d'ignorer le bruit.

Tous les termes