提示缓存
提示缓存让服务方在多次请求之间复用重复前缀的已处理结果,并把这部分 token 按新鲜价的一小部分计费。
代理会话的重复度极高:同样的系统指令、同样的工具定义、同样的对话开头,每一轮都来一遍。缓存意味着其中未变化的头部既不重新处理,也不按全价计费。
麻烦之处在于缓存是按前缀工作的。只要序列靠前的地方有改动,其后的一切就重新变成新鲜内容。这就是为什么上下文的组装顺序会带来一种在原始 token 计数里完全看不见的成本后果。
这也意味着原始计数与按缓存加权的计数可能讲出相反的故事。一个降低了原始输入却毁掉缓存的改动,可能反而抬高账单。没说清自己量的是哪一种的比较,不算比较。