摩尔线程开源 Megatron-MUSA-Titan：万亿 MoE 训练栈搬上国产卡

10 月 29 日，摩尔线程把 Megatron-MUSA-Titan 的训练代码放上了 GitHub。这套东西的定位很明确：让万亿参数的 MoE 模型能在自家硬件集群上跑完整训练，而不是只做推理演示。

它到底改了什么

底座是英伟达的 Megatron-LM，改动集中在三处。一是用 torch_musa 做 PyTorch 集成，MUSA C 提供 CUDA 兼容层，让原有算子调用不至于全部重写。二是 MoE 的 token dispatch 与 combine 走 DeepEP，并且把通信压在硬件的 Async Copy Engine 上，目的是把专家路由那段的延迟压下去。三是通过 MT-TransformerEngine 支持 blockwise FP8 精度。

官方给出的规模指标是支持超过一万卡的集群、可训练一万亿参数的 MoE。同时集成了 slime 和 miles 两个强化学习框架。

为什么这件事值得看

英伟达之外的硬件要进大模型训练，真正的门槛从来不是单卡算力，而是把 Megatron 这一整套并行策略、通信原语、混合精度路径在自己的通信库上重新对齐。这套栈相当于把「预训练配方」公开了——团队不必从零推导张量并行怎么切、流水线怎么排、专家并行怎么配。

冷静看待的地方

一是公告里没有给出与 H100、B200 集群的对照数据，性能是否接近国际主流还需要第三方复现。二是 DeepEP 依赖 Async Copy Engine 这种硬件特性，意味着上层代码与硬件绑得更紧，换平台的可移植性会下降。三是 FP8 blockwise 对数值稳定性的影响在万亿规模上尤其敏感，实际训练里 loss 尖刺的处理经验比代码本身更值钱。

对做国产化替代的团队，这是少见的「能直接读源码」的机会；对只看跑分的人，暂时还没有可比的跑分。

本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。

把预训练配方公开这一点比参数规模更有价值，很多团队卡在并行切分怎么配。真正想验证的是万卡规模下的通信占比，公告里没给对照数据，第三方复现才是关键一步。

从 Megatron-LM 改过来的路线是对的，训练栈最贵的不是算子而是并行策略和通信调度，直接用成熟底座能省大量调试。真正的门槛在 MoE 的 token dispatch，专家分布不均时跨卡通信量会上来。万亿参数跑通和跑快是两件事，等有公开的 MFU 数据再判断。