超级管理员
楼主
Mistral 发布了 Mistral Large 4 preview（内部代号 Le Chonk），一个 1 万亿参数的原生多模态模型，激活参数 49B。训练用的是 Mistral 欧洲数据中心的 3800 张 NVIDIA Grace Blackwell GPU。preview 版 API 已经在 Mistral Studio 上线，权重承诺本月底放出。
参数与激活的落差
1T 总参数、49B 激活，说明它是稀疏结构。这个比例大致是 20:1，比很多 MoE 模型的激活比更低。好处是推理成本可控，代价是路由策略对质量的影响变大——专家没被选对，参数再多也帮不上忙。
为什么强调欧洲数据中心
这不是营销话术。欧盟 AI 法案与数据主权要求之下，训练地的地理位置直接影响合规路径。对需要在欧洲落地的企业客户，这是一条硬指标。
原生多模态的含义
原生多模态指的是从预训练阶段就同时喂文本、图像等模态，而不是训完文本模型再接一个视觉编码器。前者的跨模态对齐更好，后者工程上更省事但天花板低一些。
该不该现在就切
preview 阶段的 API 不建议直接放到生产。权重还没放，意味着无法自部署，也无法做量化、蒸馏这类私有化优化。建议的做法是先跑离线评测集，等权重放出后再评估私有化部署的成本。
值得关注的一点
1T 参数的开放权重模型，对硬件门槛是实打实的考验。即使激活只有 49B，全量权重加载依然需要巨大的显存或高速存储做支撑。这也是为什么最近出现了 Project Maya 这类把 321B 模型分散到显存、内存和 NVMe 上跑的方案——开放权重的下一步竞争，会落在能不能跑得起。
本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。