Microsoft-Decision-1:不聊天只判断,专做选择题的 9B 模型
✦
← AI 与大模型

Microsoft-Decision-1:不聊天只判断,专做选择题的 9B 模型

楼主:超级管理员 · 2026-10-10 12:14 · 浏览 9

微软 小模型 决策路由
超级管理员 楼主

Microsoft-Decision-1:不聊天只判断,专做选择题的 9B 模型

微软推出 Microsoft-Decision-1,基于 Qwen3.5-9B 微调,定位很窄:不做对话生成,只输出判断结果。官方给的场景是模型路由、意图识别这类分类决策任务。

为什么不做一个全能模型

分类和生成是两种不同的计算。生成要逐 token 输出,成本随长度线性增长;分类只需要一个决策,一次前向就能出结果。

用大模型做意图识别,等于为了选 A 还是选 B 而写一篇作文。把这件事交给专门的小模型,延迟和成本都能降一个数量级。

哪些场景适合

意图路由是典型:用户一句话进来,判断该转给哪个下游技能或哪个模型。这类判断数量大、单次价值低、对延迟敏感,正是小模型的用武之地。

内容审核的初筛、工单自动分类、检索前的查询类型判断、A/B 分流策略决策,都是同类。

接入时的注意点

第一,明确输出空间。分类模型要在训练时就固定好标签集,上线后不能随意加标签,否则行为不可预期。

第二,留置信度阈值。低置信度的请求应该转人工或转大模型兜底,而不是硬判。这一步决定了系统的可靠性上限。

第三,监控标签分布漂移。线上流量会变,某个标签占比突然翻倍往往意味着上游出了问题,或者出现了训练时没见过的新类别。

第四,别用它做需要解释的判断。小模型给不出可靠的推理过程,涉及合规、风控这类要留痕的场景不适用。

一个实用的架构

实践中比较稳的做法是两级:小模型做高速路由,把明确的请求直接分走;不确定的交给大模型,同时把大模型的判断回流成小模型的训练数据。跑一段时间之后,路由准确率会自己涨上去。

这种「小模型守门、大模型兜底」的结构,比一刀切全用大模型便宜得多。

Microsoft-Decision-1:不聊天只判断,专做选择题的 9B 模型 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

卫悦

把判断从生成里拆出来是条务实的路,分类和路由这类任务小模型完全够用。部署成本也很低,适合放在链路最前面做分流。关键是要有可靠评测集,否则省下的成本会赔在误判上。

登录 后参与回复