token 预算
token 预算是对一次请求可纳入多少上下文的硬性上限,它在请求发出之前生效,而不是与模型协商出来的。
关键的区别在于上限和偏好之间。偏好是代理一觉得信息不足就会突破的东西,而它总觉得不足。上限则是一个数字,上下文按它来裁剪,装不下的部分会被报告,而不是被悄悄丢掉。
预算之所以有效,是因为代理循环内部从来不会得出“我现在知道得够多了”这个结论。窗口不设界,代理就会一直读下去,而每读一个文件,都要在这次会话之后的每一轮里付费。
具体数字没有“存在一个数字”重要。一个逼出取舍的预算,会产出与完全不设预算不同、并且通常更好的选择。