Eingabe- und Ausgabetokens
Eingabetokens sind alles, was bei einer Anfrage an das Modell geht; Ausgabetokens sind das, was es zurückschreibt, und bei Agentenarbeit dominiert die Eingabeseite die Rechnung um mindestens eine Größenordnung.
Die Asymmetrie ist der springende Punkt. Eine Antwort umfasst ein paar hundert bis ein paar tausend Tokens. Der Kontext, der sie erzeugt hat, regelmäßig Zehntausende, und anders als die Antwort wird er in der nächsten Runde erneut gesendet, und in der übernächsten.
Deshalb hat der Rat, das Modell möge sich kürzer fassen, kaum Wirkung auf die Kosten, und der Rat, was man sendet, eine große.
Eingabe wird außerdem unterschiedlich bepreist, je nachdem ob sie frisch oder gecacht ist. Gecachte Eingabe kostet einen Bruchteil des frischen Satzes, zwei Sitzungen mit identischer roher Tokenzahl können also sehr unterschiedlich teuer sein. Jeder ehrliche Vergleich muss sagen, welches von beidem er misst.