Prompt-Caching
Prompt-Caching erlaubt einem Anbieter, die verarbeitete Form eines wiederholten Präfixes über Anfragen hinweg wiederzuverwenden und diese Tokens zu einem Bruchteil des frischen Satzes abzurechnen.
Agentensitzungen wiederholen sich, wenn eine Anfrage dieselben Systemanweisungen, Werkzeugdefinitionen und denselben Verlaufsanfang enthält. Manche Clients laden detaillierte Werkzeugdefinitionen verzögert, daher hängt das wiederholte Präfix davon ab, was der Client sendet. Caching verhindert, dass ein unverändertes enthaltenes Präfix erneut verarbeitet und zum vollen Preis abgerechnet wird.
Der Haken ist, dass ein Cache präfixbasiert arbeitet. Ändert sich etwas früh in der Folge, ist alles danach wieder frisch. Deshalb hat die Reihenfolge, in der Kontext zusammengesetzt wird, eine Kostenfolge, die in einer rohen Tokenzahl unsichtbar bleibt.
Es heißt auch, dass rohe und cache-gewichtete Zahlen gegensätzliche Geschichten erzählen können. Eine Änderung, die die rohe Eingabe senkt und dabei den Cache zerstört, kann die Rechnung erhöhen. Vergleiche, die nicht sagen, was sie gemessen haben, sind keine Vergleiche.