代理循环
代理循环是指模型调用工具、读取结果、再决定下一步,如此反复直到给出答案的这个循环。
正是这个循环把代理与聊天区分开来,也正是它让代理会话以聊天所没有的方式变得昂贵:每一个工具结果都会永久加入上下文,而整个累积起来的上下文会在下一次迭代时重新发送。
所以六次迭代的循环,成本并不是单次迭代的六倍,而更接近一个递增数列之和,因为第六次背着前五次产生的一切。
这种增长正是探索之所以主导代理工作成本的原因。找到一个文件要花好几次迭代;被直接告知是哪一个,则一次都不用。
代理循环是指模型调用工具、读取结果、再决定下一步,如此反复直到给出答案的这个循环。
正是这个循环把代理与聊天区分开来,也正是它让代理会话以聊天所没有的方式变得昂贵:每一个工具结果都会永久加入上下文,而整个累积起来的上下文会在下一次迭代时重新发送。
所以六次迭代的循环,成本并不是单次迭代的六倍,而更接近一个递增数列之和,因为第六次背着前五次产生的一切。
这种增长正是探索之所以主导代理工作成本的原因。找到一个文件要花好几次迭代;被直接告知是哪一个,则一次都不用。