超级管理员
楼主
十月出现了一个值得单独说的新品类：决策模型（decision model）。这类模型不生成文本，只做判断。
它到底做什么 给决策模型一个状态描述和一组带类型的问题，它返回每个选项的概率，外加一个经过校准的置信度。问题可以是选择题（这个工单该转给 billing、sales 还是 retail）、是非题（这条消息是否表达紧急），也可以是打分题（情感强度 0 到 1）。
Strands Decider 2B 是其中一个代表，约 20 亿参数。它的做法很直接：拿一个预训练的 Qwen3.5-2B 主体，扔掉语言建模头，换成一个一百多万参数的指针头，用隐藏状态跟各选项的 token 做比对打分，主体部分用 rank-16 的 LoRA 适配。
为什么这个设计有价值
- 没有解码循环，单次前向传播就出结果。
- 不需要解析输出文本，也就不会有“模型不听话返回了多余内容”的问题。
- 消除了位置偏置。指针头对每个选项独立打分，不会学到“第一个选项通常是对的”。
- 文本只读一次，同一状态下多问几个问题几乎不增加成本。
官方给的参考数据是本地 RTX 3090 上中位延迟约 115 毫秒，M3 MacBook 上约 153 毫秒。厂商自测数据，但设计目标是成立的：让决策这一步便宜到可以在每次工具调用时都跑一遍。
在 Agent 架构里怎么放 大部分 Agent 的工作流里，真正在“生成”的环节并不多，更多的是判断：要不要调这个工具、这条路走不走得通、这个结果够不够好。这些判断现在通常用通用大模型来做，成本高、延迟大、还不稳定。
换成决策模型之后，Agent 的主干推理仍然用大模型，但中间的高频判断交给小模型。延迟和成本结构都会明显改善。
注意边界 决策模型只适合有明确选项集合的问题。一旦你需要开放式生成、需要解释理由、需要处理没见过的选项类型，它就不适用。别把它当大模型的替代品，它是旁路。
本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。