Caché de prompts
La caché de prompts permite a un proveedor reutilizar la forma ya procesada de un prefijo repetido entre peticiones, facturando esos tokens a una fracción de la tarifa nueva.
Las sesiones de agente se repiten muchísimo: las mismas instrucciones de sistema, las mismas definiciones de herramientas, el mismo comienzo del hilo, en cada turno. Cachear significa que la cabecera invariable de todo eso ni se reprocesa ni se factura a precio completo.
El truco es que una caché funciona por prefijo. Cambia algo al principio de la secuencia y todo lo posterior vuelve a ser nuevo. Por eso el orden en que se monta el contexto tiene una consecuencia de coste invisible en un recuento en bruto.
También significa que los recuentos en bruto y ponderados por caché pueden contar historias opuestas. Un cambio que baja la entrada en bruto mientras destroza la caché puede subir la factura. Las comparaciones que no dicen cuál midieron no son comparaciones.