10 月 11 日到 12 日,模型侧密集出货。挑三个有代表性的说说。
StepFun Step 5 Preview
600B 参数的 MoE,1M 上下文。MoE 加长上下文的组合现在很常见,难点在于 KV Cache 管理——1M 上下文即使稀疏激活,缓存本身也是个大工程。
Cloudflare Clef-omni
30B 总参数、3B 激活的多模态决策模型。Cloudflare 发模型的逻辑和别人不太一样:它有边缘节点,模型明显是为了在边缘侧跑推理。30B-A3B 这个尺寸就是照着可部署性定的。
vllm-sr Decision 3.0
六个尺寸从 0.6B 到 26B(d3、d3-flash、d3-mini、d3-nano、d3-lite、d3-edge),在 Hugging Face 的 vllm-sr 组织下放出。团队称在 Jev Decision Index 两张榜上都是第一,并给出了新的帕累托前沿。
一个共同趋势
三家都在往决策方向挤。这和微软 Decision-1 是同一波。原因不难理解:生成内容的市场已经很拥挤,而决策是可以直接接到业务流程里、能算清 ROI 的场景。
尺寸梯度是标配
Decision 3.0 一口气给六档尺寸,说明大家已经接受了同一系列按部署条件分档的做法。0.6B 跑在端上,26B 跑在服务器,接口一致。这比只发一个大模型实用得多。
怎么选
先看延迟预算,再看准确率阈值,最后才看成本。决策类任务的错误是有业务代价的,别为了省钱选一个在你的关键场景上掉点的尺寸。用真实数据跑一遍,比看榜单有用。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。