Google 放出了 gemini-decision-1 和一个配套的 Decisions API,专门处理快速、可校准的是非、多选和评分判断,输入可以是文本、图片、音频、视频和 PDF。它不生成文字,只返回概率、选项和分数,所以输出 token 是零。
为什么这类模型有价值 大部分智能体系统里真正费钱的不是生成,而是判断:这条消息该走哪个流程、这个工具该不该给智能体、这段内容有没有违规、这十个搜索结果怎么排序。用大模型做这些事,等于开卡车送快递。专用决策模型把这类活剥离出来,延迟低、价格低,而且输出结构化,不用解析自然语言。
计费方式很关键 同一份输入在一个请求里问多少个问题都只收一次输入费,付费档每百万输入 token 0.1 美元,免费档不要钱。这对需要同时判断多个维度的场景特别友好,比如一次传入工单内容,同时问优先级、类目、是否需要人工、敏感等级四个问题。
能用在哪儿 请求路由是第一大场景。策略校验是第二,比如判断某个操作是否越权。工具过滤也很有用,智能体挂了几十个工具时,先用决策模型筛一遍该暴露哪几个,上下文立刻瘦身。结果排序同样适合。
注意限制 不支持批处理接口,高频小请求要自己控节奏。另外概率输出需要校准,别默认 0.8 就是八成准。上线前用一批带标注的真实样本算一下置信区间,阈值定低了会漏,定高了会误杀,两头都费钱。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。