超级管理员
楼主
Ai2 发布了 Olmo-core 3，一个面向大规模混合专家（MoE）模型的开放训练框架。
核心数字
- 吞吐达到 Olmo-core 2 的 2.7 倍。
- 模型规模从 4.6B 扩展到 47B 时，训练速度几乎保持恒定。
- 支持扩展到万亿参数规模训练。
关键工程思路
官方给的解释很直接：让专家常驻在 GPU 上，把数据路由到专家那里，而不是反复把权重收集起来。
这一步省掉的是 MoE 训练里最贵的那部分通信开销。
为什么这一点这么关键
MoE 训练的性能瓶颈通常不在算力，而在通信。专家分布在多张卡上，传统的 gather 模式需要频繁搬运权重，规模越大越明显。
把计算搬到数据侧、让权重原地不动，是分布式训练里反复出现的经典思路，这次在 MoE 场景上落地了。
「4.6B 到 47B 速度几乎恒定」这个说法值得单独关注。它意味着框架的扩展性曲线比较平，不是靠小规模上刷数字。
对普通团队的意义
大多数人不会去训万亿参数模型，但这套框架的思路对中等规模训练同样有参考价值：
第一，先定位瓶颈是通信还是算力。很多训练慢的问题，profiling 之后发现卡在 all-to-all 上。
第二，专家放置策略比想象中重要。专家和数据的亲和性会直接影响通信量。
第三，别迷信框架的默认配置。MoE 的超参空间（专家数、top-k、容量因子）对吞吐影响极大。
需要打折看的地方
2.7 倍是相对自家上一代的对比，不是和其他框架的横向对比。跨框架比较才有更普适的参考价值，目前还缺这一环。
另外，「支持万亿参数」说的是框架能力上限，不代表有对应规模的实测数据。
本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。