Token
Un token es la unidad que un modelo de lenguaje lee y factura: una palabra común, un fragmento de palabra o un signo de puntuación, unos tres o cuatro caracteres de media.
Los modelos no leen caracteres ni palabras. Leen tokens, los trozos en que un tokenizador corta el texto. Las palabras frecuentes suelen ser un token cada una; las raras, los identificadores y las escrituras no latinas se cortan en varios. getUserById pesa más de lo que parece, y un párrafo en japonés pesa más que el mismo párrafo en inglés.
Todo se cuenta así: tu pregunta, los archivos enviados con ella, la respuesta del modelo y toda la conversación hasta ahora. Ese último punto es lo que convierte al token en la unidad de coste de una sesión de agente y no en un detalle técnico. El historial se reenvía cada turno, así que un token añadido pronto se paga muchas veces.
Una regla útil para prosa: unas 750 palabras por cada mil tokens. Con código fuente, espera algo peor: identificadores, puntuación e indentación cuestan todos.