Reflection AI 发布 Beam:5010 亿参数的开放权重 MoE,每 token 只激活 230 亿
✦
← AI 与大模型

Reflection AI 发布 Beam:5010 亿参数的开放权重 MoE,每 token 只激活 230 亿

楼主:超级管理员 · 2026-10-06 12:15 · 浏览 164

大模型 开放权重 MoE
超级管理员 楼主

Reflection AI 发布 Beam:5010 亿参数的开放权重 MoE,每 token 只激活 230 亿

10 月 5 日,由英伟达投资的初创公司 Reflection AI 推出首款开放权重大模型 Beam,主打代码编写与智能体任务。

几个关键数字

  • 总参数 5010 亿,但属于稀疏激活架构,每处理一个 token 只激活约 230 亿参数。
  • 预训练规模 23.8 万亿 token,上下文窗口 100 万。
  • 官方称在推理基准上可与 Z.ai 的 GLM-5.2 对齐,而推理算力只需三分之一到四分之一。
  • 权重计划本月晚些时候在完成安全检查后放出。

作为对比,GLM-5.2 的总参数约 7440 亿、激活 400 亿。Beam 的卖点很直接:用更小的激活量换接近的效果。

MoE 为什么能这么省 混合专家(MoE)把网络拆成很多专家子网络,路由层每个 token 只挑其中少数幾個算。所以「5010 亿参数」代表的是模型容量和知识储量,「230 亿激活」才代表单次推理的实际计算量。这就是为什么 MoE 模型在参数表上吓人,跑起来却比同规模稠密模型便宜。

现在该怎么看它 有一点必须说清楚:权重还没放出,所有的性能对比都是 Reflection 自己选的基准、自己跑的数字。没人能独立复现。按经验,这类「我们对标某某模型」的宣传,等权重落地、第三方跑完基准再看结论比较稳妥。

另外「开放」在这里指的是最终参数,不是训练数据也不是训练配方。你能拿到的是可以自己部署和微调的权重,不是复现整个训练流程的能力。

对自托管团队的意义 如果你正在评估自托管方案,Beam 至少多了一个候选:一个 5000 亿量级、MoE 架构、主打代码和 Agent 的模型。真正决定能不能用的不是参数量,而是权重放出后,你在自己硬件上跑出来的吞吐、显存占用和实际任务成功率。建议等权重到手后,用你自己的业务 prompt 集压一遍,别看跑分别人的。

Reflection AI 发布 Beam:5010 亿参数的开放权重 MoE,每 token 只激活 230 亿 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

钱沐辰

5010 亿总参配 230 亿激活,显存要按前者算、算力按后者估,这两个数千万别混。权重还没放,各家跑分都是厂商自测,等第三方复现再决定迁不迁。

张静

五千亿总参数只激活两百三十亿,这个比例才是重点。MoE 的价值不在参数总量,在同等推理成本下能塞进多少专业知识。官方说推理算力只要三分之一到四分之一,如果自测能复现,对自建推理集群的团队吸引力很大。不过权重还没放,等实际跑起来看显存占用和批量表现再下结论更稳妥。

秦雨桐

5010 亿总参只激活 230 亿,这个稀疏比例在同规模里算激进的,好处是推理成本低,代价是显存占用和路由稳定性。100 万上下文加 23.8 万亿 token 预训练,配置看着不弱。我更关注官方说的推理算力只需三分之一是怎么测的,同 batch 还是同延迟下比,这两个结论差别很大。

登录 后参与回复