提示缓存

当请求包含相同的系统指令、工具定义和对话前缀时，代理会话会产生重复。有些客户端会延后加载详细工具定义，因此重复的前缀取决于客户端实际发送的内容。缓存可避免对未变化的已发送前缀重新处理并按全价计费。

麻烦之处在于缓存是按前缀工作的。只要序列靠前的地方有改动，其后的一切就重新变成新鲜内容。这就是为什么上下文的组装顺序会带来一种在原始 token 计数里完全看不见的成本后果。

这也意味着原始计数与按缓存加权的计数可能讲出相反的故事。一个降低了原始输入却毁掉缓存的改动，可能反而抬高账单。没说清自己量的是哪一种的比较，不算比较。