Taux de succès du cache
Le taux de succès du cache est la part des tokens d'entrée d'une requête servis depuis un cache de prompt plutôt que traités à neuf.
C'est le nombre qui transforme un comptage de tokens en un coût. Deux requêtes à entrée brute identique peuvent différer d'un facteur plusieurs selon la part déjà en cache.
En pratique, ce taux dépend de la stabilité du début de la requête. Un préfixe stable qui ne croît que par la fin se met bien en cache ; tout ce qui réécrit le début de la séquence, non.
Quand on compare deux façons de faire la même tâche, l'entrée pondérée, c'est-à-dire les tokens frais à plein poids plus les tokens en cache à leur poids réduit, est la mesure qui correspond à ce qu'on paie. L'entrée brute est la mesure qu'il est plus facile de citer.