Cache-Trefferquote
Die Cache-Trefferquote ist der Anteil der Eingabetokens einer Anfrage, die aus einem Prompt-Cache bedient statt neu verarbeitet wurden.
Sie ist die Zahl, die aus einer Tokenzahl einen Preis macht. Zwei Anfragen mit derselben rohen Eingabe können sich je nach gecachtem Anteil um ein Mehrfaches im Preis unterscheiden.
In der Praxis hängt die Quote an der Stabilität am Anfang der Anfrage. Ein stabiles Präfix, das nur hinten wächst, cacht gut; alles, was den Anfang der Folge umschreibt, nicht.
Beim Vergleich zweier Wege, dieselbe Aufgabe zu erledigen, ist die gewichtete Eingabe, also frische Tokens zum vollen und gecachte zum reduzierten Gewicht, die Messung, die dem entspricht, was man zahlt. Die rohe Eingabe ist die Messung, die sich leichter zitieren lässt.