Token
Ein Token ist die Einheit, die ein Sprachmodell liest und abrechnet: ein häufiges Wort, ein Wortteil oder ein Satzzeichen, im Schnitt etwa drei bis vier Zeichen.
Modelle lesen weder Zeichen noch Wörter. Sie lesen Tokens, die Stücke, in die ein Tokenizer Text zerschneidet. Häufige Wörter sind oft ein Token, seltene Wörter, Bezeichner und nichtlateinische Schriften werden in mehrere zerlegt. getUserById wiegt mehr, als es aussieht, und ein Absatz Japanisch wiegt mehr als derselbe Absatz auf Englisch.
Alles wird so gezählt: Ihre Frage, die mitgesendeten Dateien, die Antwort des Modells und das gesamte bisherige Gespräch. Gerade der letzte Punkt macht den Token zur eigentlichen Kosteneinheit einer Agentensitzung statt zu einem technischen Detail. Der Verlauf wird jede Runde erneut gesendet, ein früh hinzugefügter Token wird also vielfach bezahlt.
Eine brauchbare Faustregel für Fließtext: etwa 750 Wörter je tausend Tokens. Bei Quellcode ist es schlechter: Bezeichner, Satzzeichen und Einrückung kosten alle.