阶跃星辰的 Step 5 Preview 发布,参数规模 600B 的 MoE 架构,上下文窗口 1M,上线一天就登顶 OpenRouter 趋势榜,官方称开源权重会在 10 月 15 日放出。
MoE 这种规模该怎么理解
600B 是总参数量,不是每次推理都全跑。MoE 的门控机制每次只激活一部分专家,实际计算量远低于同规模稠密模型。这也是为什么现在大家敢把总参数堆到千亿级——堆的是容量,付的是激活部分的计算。
配置里另一个重点是 1M 上下文。超长上下文真正的难点不在能不能塞进去,而在塞进去之后还能不能准确检索到中段的信息,也就是常说的「中间迷失」问题。评测分数好看不等于长文档问答好用,得自己拿真实材料测。
开源权重才是关键变量
官方说 10 月 15 日放权重。这一步决定了它是「值得关注的新闻」还是「能进你工作流的工具」。
有权重意味着可以本地部署、可以量化、可以微调、可以做私有化。对数据不能出内网的团队来说,有没有权重是能不能用的分水岭。
换模型前先做这几件事
第一,明确你要换的是什么任务。榜单排名是综合能力,你的场景可能只需要其中一项。
第二,准备一组自己的回归用例。至少 30 条,覆盖正常输入、边界输入、恶意输入三类。换模型最怕的是整体变好但某个角落崩了。
第三,测成本而不只是测质量。1M 上下文的输入计费很可观,长文档场景要算单次调用的账。
第四,留出回退方案。模型服务不稳定是常态,路由层要能一键切回上一代。
别被榜单带着跑
趋势榜反映的是关注度,不完全等于能力。真正该看的是它在你自己任务集上的表现,以及部署、量化、微调这些工程环节的成熟度。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。