Tokeniseur
Un tokeniseur découpe le texte en tokens lus et facturés par un modèle, ce qui explique qu'un même texte puisse compter un nombre différent de tokens selon le modèle.
La plupart des tokeniseurs modernes sont construits à partir de données. Les suites fréquentes, comme des mots courants ou des motifs de code familiers, deviennent un seul token. Les identifiants rares, les mises en forme inhabituelles et de nombreuses écritures non latines se découpent en plusieurs. Le vocabulaire est fixé lors de l'entraînement : un compte de tokens n'a de sens qu'avec le modèle sur lequel il a été mesuré.
Les tokeniseurs changent entre générations. Selon Anthropic, en septembre 2026, Claude 4.7 et les modèles suivants produisent environ 30 % de tokens de plus pour le même texte que Claude Sonnet 4.6 et les modèles précédents, selon le contenu. Claude Opus 4.6 et Opus 4.7 ont le même prix public par token : le même prompt revient donc plus cher sur le plus récent du seul fait du découpage.
Trois conséquences en découlent. Un compte mesuré sur un modèle ne se transfère pas à un autre : budgets, estimations de fenêtre et prévisions de coût doivent être recalculés après un changement. Les tarifs au token se comparent mal entre tokeniseurs sans tenir compte de la quantité de texte couverte. Enfin, quatre caractères par token n'est qu'une moyenne pour la prose anglaise, pas une méthode pour compter du code.
Le fournisseur donne le compte précis. L'endpoint de comptage d'Anthropic retourne gratuitement, mais sous limite de débit, une estimation des tokens d'entrée selon le modèle demandé. Sa documentation précise que cette estimation peut différer légèrement du montant facturé.