Tasa de acierto de caché

Es la cifra que convierte un recuento de tokens en un coste. Dos peticiones con la misma entrada en bruto pueden diferir varias veces en precio según cuánta de esa entrada estuviera ya cacheada.

En la práctica, la tasa depende de la estabilidad del principio de la petición. Un prefijo estable que solo crece por el final cachea bien; cualquier cosa que reescriba el comienzo de la secuencia, no.

Al comparar dos formas de hacer la misma tarea, la entrada ponderada, es decir, los tokens nuevos a peso completo más los cacheados a su peso reducido, es la medición que corresponde a lo que pagas. La entrada en bruto es la medición más fácil de citar.