Mistral 放出了万亿参数级别的开源权重:1 万亿总参数、原生多模态 MoE、激活约 490 亿、上下文 100 万 token,同时提供 FP8 与 NVFP4 量化版本,英伟达零日支持。
数字背后的工程取舍
总参数 1 万亿、激活 490 亿,这个比例接近 20 比 1,是典型的稀疏路由设计。好处是推理算力按激活参数算,成本接近 500 亿级别的稠密模型;坏处是显存占用按总参数算,权重本身就要吃掉大量显存。想跑起来,先算清楚你的卡够不够放权重。
许可条款才是这次的重点
允许下载、微调、本地部署,但对外提供模型服务需要单独谈商业授权。这已经不是传统意义上的开源,而是把开源当成获客手段、把商用授权当成收入来源的分层结构。国内做 API 生意的团队要特别注意这一条,别部署完才发现不能对外卖。
对数据合规严格的企业反而是好消息
欧洲发布的万亿级开源权重,意味着对数据驻留有硬性要求的机构终于有了一个可以完全私有化的旗舰选项。金融、医疗、政务这类场景,能不能自己托管权重,往往比跑分高两分重要得多。
一个现实的提醒
万亿参数的模型,微调门槛和推理成本都不低。中小团队拿它做基座不如拿它做蒸馏老师,用它的输出去喂一个 7B 到 30B 的学生模型,性价比高一个量级。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。