Tokens de entrada y de salida
Los tokens de entrada son todo lo que se envía al modelo en una petición; los de salida son lo que escribe de vuelta, y en el trabajo con agentes la entrada domina la factura por un orden de magnitud o más.
La asimetría es todo el asunto. Una respuesta son de unos cientos a unos miles de tokens. El contexto que la produjo suele ser de decenas de miles, y a diferencia de la respuesta se reenvía en el turno siguiente, y en el siguiente.
Por eso el consejo de que el modelo responda más breve casi no afecta al coste, y el consejo sobre qué enviar sí lo hace mucho.
La entrada también se tarifa distinto según sea nueva o cacheada. La entrada en caché se factura a una fracción de la nueva, lo que significa que dos sesiones con el mismo recuento en bruto pueden costar cantidades muy distintas. Cualquier comparación honesta tiene que decir cuál de las dos está midiendo.