Caché de prompts
La caché de prompts permite a un proveedor reutilizar la forma ya procesada de un prefijo repetido entre peticiones, facturando esos tokens a una fracción de la tarifa nueva.
Las sesiones de agente se repiten cuando una petición incluye las mismas instrucciones de sistema, definiciones de herramientas y comienzo del hilo. Algunos clientes aplazan las definiciones detalladas, así que el prefijo repetido depende de lo que envía cada cliente. La caché evita reprocesar y cobrar a precio completo un prefijo incluido que no ha cambiado.
El truco es que una caché funciona por prefijo. Cambia algo al principio de la secuencia y todo lo posterior vuelve a ser nuevo. Por eso el orden en que se monta el contexto tiene una consecuencia de coste invisible en un recuento en bruto.
También significa que los recuentos en bruto y ponderados por caché pueden contar historias opuestas. Un cambio que baja la entrada en bruto mientras destroza la caché puede subir la factura. Las comparaciones que no dicen cuál midieron no son comparaciones.