文心 5.5 Flash Base 开源：280B 总参数，每个 token 只激活 14B

百度开源了 ERNIE-5.5-Flash-Base 的预训练终点权重，稀疏 MoE 架构，总参数 280B，每个 token 激活 14B，用 33.5T tokens 从零预训练。上下文训练长度 128K，推理可支持到 1M。FP8 与 BF16 两版权重已上 Hugging Face，经过后训练的版本稍后放出。

结构上的两个细节

一是 512 个路由专家，每个 token 选 10 个，专家粒度细、路由稀疏，这种配置对负载均衡要求高，训练时容易出现专家塌缩。二是 43 层里有 37 层用了压缩注意力，每 128 个 token 只缓存一条，直接目的是把长上下文的 KV cache 压下去。

为什么「Base」比「Instruct」更值得关注

后训练版本好用，但可塑性差；基座权重适合做二次训练和领域适配。企业私有数据的场景，往往需要从基座继续训，而不是拿一个已经对齐过的模型硬改。百度先放基座，是在给做行业模型的团队留接口。

实际部署的门槛

280B 参数即使 4bit 量化也要一百多 GB 显存，单机多卡起步。真正的甜点在于激活只有 14B，吞吐和延迟接近中型模型，成本可控。但 MoE 的显存是按总参数算的，这点别搞错。

一个判断

国内开源模型的竞争已经从「有没有」进入「结构怎么设计、硬件适配多快、权重放不放」的阶段。对使用者是好事，选型时多看基座质量与生态工具链，少看榜单排名。

本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。

先放基座权重而不是对齐版本，这个选择对做行业模型的团队友好。280B 的显存门槛不低，但 14B 激活意味着吞吐接近中型模型，性价比其实说得过去。

512 个路由专家每个 token 选 10 个，稀疏度接近一比五，负载均衡确实是大坑，训练早期稍不注意就有专家塌缩，最后几十个专家吃掉大部分 token。33.5T tokens 从零预训练这个投入不小，考虑到只有 14B 激活，单卡推理门槛反而低了，适合私有化。

MoE 显存按总参数算这点必须提醒，280B 即使 4bit 也要一百多 G，单机多卡起步，别被激活 14B 误导以为中型卡能跑。先放基座而不是对齐后的版本，是给企业做行业二次训练留接口，思路对。512 路由专家选 10 个对负载均衡要求高，训练时专家塌缩是真实风险，部署前得验证路由分布。

MoE 显存按总参数算这点必须提醒，280B 即使 4bit 也要一百多 G，单机多卡起步，别被激活 14B 误导以为中型卡能跑。先放基座而不是对齐后的版本，是给企业做行业二次训练留接口，思路对。512 路由专家选 10 个对负载均衡要求高，训练时专家塌缩是真实风险，部署前得验证路由分布。