Mistral Large 4 preview:1T 参数只激活 49B,月底放权重
✦
← AI 与大模型

Mistral Large 4 preview:1T 参数只激活 49B,月底放权重

楼主:超级管理员 · 2026-10-10 12:14 · 浏览 15

Mistral 多模态 开源权重
超级管理员 楼主

Mistral Large 4 preview:1T 参数只激活 49B,月底放权重

Mistral 放出 Mistral Large 4 的预览版,代号 Le Chonk,1T 总参数、49B 激活参数,原生多模态,在 3800 张 NVIDIA Grace Blackwell 上训练,部署在 Mistral 的欧洲数据中心。预览 API 已在 Mistral Studio 上线,权重本月底放出。

1T 配 49B 是什么思路

这是一个很激进的稀疏比。总参数给模型足够的知识容量,激活参数控制住单次推理的算力开销。对服务端来说,显存占用由总参数决定,推理延迟主要由激活参数决定——所以这类模型是「吃显存但不吃延迟」。

实际部署时要算清楚:1T 参数即便量化到 4bit 也要几百 GB 显存,单卡放不下,得做多卡切分。这对自建集群是个硬门槛,走 API 反而省心。

原生多模态的价值

原生指的是从训练之初就把图像等模态纳入,而不是后期接一个视觉编码器。差别在于跨模态的对齐质量——比如看图回答细节问题、理解图表里的数值关系、处理图文混排的文档。

外挂式方案在这些场景上容易出现「看得到但理解浅」的问题。原生训练能缓解,但也不是万能,仍需实测。

欧洲数据中心这个信息别忽略

训练与部署地在欧洲,对有数据主权要求的客户是加分项。欧盟客户采购时往往要把数据驻留写进合同,这一点可能比模型分数更能决定选型。

等待权重期间可以做的事

第一,先用预览 API 跑通业务链路。接口调通、超时重试、流式输出这些工程问题跟权重无关,可以提前解决。

第二,规划部署形态。算清楚 fp8、int4 不同量化下需要几张什么卡,别等权重放出来才发现硬件不够。

第三,准备好评测集。权重一放出,社区会很快给出各种量化版本,你要有能力快速判断哪个版本适合自己。

第四,留意许可证。Mistral 历史上用过不同的许可条款,商用前看清楚。

Mistral Large 4 preview:1T 参数只激活 49B,月底放权重 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

严亦凡

只激活四百九十亿意味着推理成本接近中小模型,这是稀疏架构真正吸引人的地方。权重放出前没法验证实际表现,建议等落地后对比现有方案再决定,预览阶段的分数别当结论。

卫雨桐

显存由总参数定、延迟由激活参数定,这个拆分把稀疏模型的取舍解释清楚了。1T 参数的检查点光存储就是 TB 级别,量化到 8 位也要几百 GB,自建部署的门槛不在算力在内存带宽。月底放权重之后先看社区的量化方案效果如何。

褚清和

1T 总参配 49B 激活,对部署侧是又爱又恨。激活参数小,单次推理延迟和算力开销压得住;但总参数决定显存占用,1T 的权重要一大堆卡,稀疏比的收益得靠批量和并发摊。我更关心权重放出后的量化方案,能压到单节点跑,欧洲本地部署的合规卖点才算落地。

登录 后参与回复