Prompt-Caching
Prompt-Caching erlaubt einem Anbieter, die verarbeitete Form eines wiederholten Präfixes über Anfragen hinweg wiederzuverwenden und diese Tokens zu einem Bruchteil des frischen Satzes abzurechnen.
Agentensitzungen wiederholen sich enorm: dieselben Systemanweisungen, dieselben Werkzeugdefinitionen, derselbe Verlaufsanfang, in jeder Runde. Caching heißt, dass der unveränderte Kopf davon weder neu verarbeitet noch zum vollen Preis abgerechnet wird.
Der Haken ist, dass ein Cache präfixbasiert arbeitet. Ändert sich etwas früh in der Folge, ist alles danach wieder frisch. Deshalb hat die Reihenfolge, in der Kontext zusammengesetzt wird, eine Kostenfolge, die in einer rohen Tokenzahl unsichtbar bleibt.
Es heißt auch, dass rohe und cache-gewichtete Zahlen gegensätzliche Geschichten erzählen können. Eine Änderung, die die rohe Eingabe senkt und dabei den Cache zerstört, kann die Rechnung erhöhen. Vergleiche, die nicht sagen, was sie gemessen haben, sind keine Vergleiche.