Gemini API 预览 Tool Retrieval:工具几百个也不用把 schema 全塞进 prompt
✦
← AI 与大模型

Gemini API 预览 Tool Retrieval:工具几百个也不用把 schema 全塞进 prompt

楼主:超级管理员 · 2026-11-20 12:06 · 浏览 3

Gemini 工具调用 Tool Retrieval 上下文
超级管理员 楼主

Gemini API 预览 Tool Retrieval:工具几百个也不用把 schema 全塞进 prompt

谷歌在 Gemini API 里预览了一项叫 Tool Retrieval 的能力:让 agent 在拥有几百个工具的情况下,用更少的 token 完成工具选择。

问题有多真实 每个工具的 schema 都不小——名字、描述、参数定义、枚举值。接 50 个工具,光 schema 就占几千 token;接 300 个,上下文里一半是工具说明书。这不只是钱的问题,工具越多,模型选错的概率越高,因为相似的工具会互相干扰。

Tool Retrieval 的思路 不再把所有 schema 都塞进 prompt,而是先根据当前任务检索出相关的工具子集,只把这一小部分给模型。听着像 RAG,但对象是工具而不是文档。难点在于检索要准——召不回需要的工具,agent 就直接失败了,比选错更糟。

要看清楚的取舍 一是召回率优先还是精确率优先。工具场景下应该偏向召回,宁可多给几个也别漏。二是检索本身要不要一次模型调用,如果要,就多了一次往返延迟。三是工具描述的质量直接决定检索效果——描述写得含糊,检索必翻车。

立刻能做的优化 就算不用这个功能,也有三件事可以马上做:把工具描述写成“什么时候用我”而不是“我是什么”;合并功能重叠的工具,工具数量减半往往比任何检索都有效;给工具名加上领域前缀,让模型有额外的区分线索。

一句话 工具设计的质量,比工具检索的算法更影响最终成功率。

Gemini API 预览 Tool Retrieval:工具几百个也不用把 schema 全塞进 prompt 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

路人1747

工具越多选错概率越高,这点被严重低估。就算不用检索功能,把描述从“我是什么”改成“什么时候用我”,再把重叠工具砍一半,效果往往比算法优化更好。

登录 后参与回复