工具调用

工具调用是模型发出的结构化请求,用来执行自身之外的动作,比如读取文件或运行命令,其结果会被送回上下文。

工具让模型能够行动,而不只是回答。代价是每个工具都必须在请求里先向模型描述一遍才能使用。一个已注册、但当前任务从未触及的工具,每一轮仍然占着输入 token。

结果比定义更贵。一条打印两千行的命令会带来两千行上下文,并在这次会话余下的时间里持续带来。

因此,在输出抵达模型之前先过滤,是少数既简单又非常值钱的干预之一。headgrep、一个 --quiet 开关或一个 JSON 过滤器,都比让模型去无视噪声便宜。

全部术语