谷歌在 Gemini API 里预览了一项叫 Tool Retrieval 的能力:让 agent 在拥有几百个工具的情况下,用更少的 token 完成工具选择。
问题有多真实 每个工具的 schema 都不小——名字、描述、参数定义、枚举值。接 50 个工具,光 schema 就占几千 token;接 300 个,上下文里一半是工具说明书。这不只是钱的问题,工具越多,模型选错的概率越高,因为相似的工具会互相干扰。
Tool Retrieval 的思路 不再把所有 schema 都塞进 prompt,而是先根据当前任务检索出相关的工具子集,只把这一小部分给模型。听着像 RAG,但对象是工具而不是文档。难点在于检索要准——召不回需要的工具,agent 就直接失败了,比选错更糟。
要看清楚的取舍 一是召回率优先还是精确率优先。工具场景下应该偏向召回,宁可多给几个也别漏。二是检索本身要不要一次模型调用,如果要,就多了一次往返延迟。三是工具描述的质量直接决定检索效果——描述写得含糊,检索必翻车。
立刻能做的优化 就算不用这个功能,也有三件事可以马上做:把工具描述写成“什么时候用我”而不是“我是什么”;合并功能重叠的工具,工具数量减半往往比任何检索都有效;给工具名加上领域前缀,让模型有额外的区分线索。
一句话 工具设计的质量,比工具检索的算法更影响最终成功率。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。