Tokenizer
Ein Tokenizer zerlegt Text in die Tokens, die ein Modell liest und abrechnet, weshalb derselbe Text bei zwei Modellen unterschiedlich viele Tokens ergeben kann.
Die meisten modernen Tokenizer basieren auf Daten. Häufige Sequenzen, wie etwa gebräuchliche Wörter und bekannte Codemuster, werden zu einzelnen Token, während seltene Bezeichner, ungewöhnliche Formatierungen und viele nicht-lateinische Skripte in mehrere aufgespalten werden. Das Vokabular wird festgelegt, wenn das Modell trainiert wird, sodass eine Token-Zählung nur etwas neben dem Modell bedeutet, an dem sie gemessen wurde.
Tokenizer ändern sich zwischen den Generationen. Laut Anthropic verwenden Claude 4.7 und spätere Modelle (Stand September 2026) einen neueren Tokenizer, der etwa 30 % mehr Token für denselben Text erzeugt als Claude Sonnet 4.6 und frühere Modelle, wobei die genaue Steigerung vom Inhalt abhängt. Claude Opus 4.6 und Opus 4.7 haben den gleichen Listenpreis pro Token, sodass die gleiche Eingabeaufforderung allein durch die Tokenisierung beim neueren Modell mehr kostet.
Daraus ergeben sich drei Konsequenzen. An einem Modell gemessene Zählungen werden nicht auf ein anderes übertragen, daher müssen Budgets, Kontextfensterschätzungen und Kostenprognosen nach einem Wechsel neu gezählt werden. Die Preise pro Token können nicht zwischen verschiedenen Tokenizern verglichen werden, ohne zu berücksichtigen, wie viel Text ein Token abdeckt. Und Faustregeln wie vier Zeichen pro Token sind Durchschnittswerte für englische Prosa und keine Möglichkeit, Code zu zählen.
Die genaue Zählung kommt vom Anbieter. Der Token-Counting-Endpunkt von Anthropic gibt die Eingabe-Tokens einer Anfrage unter dem Tokenizer des von Ihnen genannten Modells zurück, kostenlos, aber mit begrenzter Anfragerate, und in der Dokumentation wird das Ergebnis als Schätzung beschrieben, die leicht von der Rechnung abweichen kann.