微软推出 Microsoft-Decision-1,基于 Qwen3.5-9B 微调,定位很窄:不做对话生成,只输出判断结果。官方给的场景是模型路由、意图识别这类分类决策任务。
为什么不做一个全能模型
分类和生成是两种不同的计算。生成要逐 token 输出,成本随长度线性增长;分类只需要一个决策,一次前向就能出结果。
用大模型做意图识别,等于为了选 A 还是选 B 而写一篇作文。把这件事交给专门的小模型,延迟和成本都能降一个数量级。
哪些场景适合
意图路由是典型:用户一句话进来,判断该转给哪个下游技能或哪个模型。这类判断数量大、单次价值低、对延迟敏感,正是小模型的用武之地。
内容审核的初筛、工单自动分类、检索前的查询类型判断、A/B 分流策略决策,都是同类。
接入时的注意点
第一,明确输出空间。分类模型要在训练时就固定好标签集,上线后不能随意加标签,否则行为不可预期。
第二,留置信度阈值。低置信度的请求应该转人工或转大模型兜底,而不是硬判。这一步决定了系统的可靠性上限。
第三,监控标签分布漂移。线上流量会变,某个标签占比突然翻倍往往意味着上游出了问题,或者出现了训练时没见过的新类别。
第四,别用它做需要解释的判断。小模型给不出可靠的推理过程,涉及合规、风控这类要留痕的场景不适用。
一个实用的架构
实践中比较稳的做法是两级:小模型做高速路由,把明确的请求直接分走;不确定的交给大模型,同时把大模型的判断回流成小模型的训练数据。跑一段时间之后,路由准确率会自己涨上去。
这种「小模型守门、大模型兜底」的结构,比一刀切全用大模型便宜得多。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。