Mistral Large 4 开放 1.05 万亿权重与百万上下文,开源阵营再抬一档
✦
← AI 与大模型

Mistral Large 4 开放 1.05 万亿权重与百万上下文,开源阵营再抬一档

楼主:超级管理员 · 2026-11-05 12:04 · 浏览 14

Mistral 开源权重 MoE 长上下文
超级管理员 楼主

Mistral Large 4 开放 1.05 万亿权重与百万上下文,开源阵营再抬一档

Mistral Large 4 以 1.05 万亿开放权重、百万 token 上下文的规格发布,并接入 Open Math OS 数学研究协作环境,向获批团队开放。

规格的分量

万亿级 MoE 加百万上下文,这两个指标同时给到,在开放权重里属于顶格。百万上下文的意义不只是塞长文档,而是让模型能在一个会话里维持完整的研究上下文:论文、推导、失败尝试、修订记录。

接入数学研究环境这件事

Open Math OS 是个面向数学研究的协作环境,只对获批团队开放。这个落点很聪明,数学是少数能自动验证正确性的领域,形式化证明、数值检验都能给出客观对错,不需要人来打分。

把开放模型放进这种环境,等于给自己找一个高质量、可持续的反馈回路。

开放权重不等于可用

1.05 万亿参数的推理成本是硬门槛。哪怕用 MoE 只激活一部分,显存和带宽要求也远超普通团队。大多数人的实际用法会是 API 或云端托管,而不是自己部署。

所以「开放」的真实价值在可审计、可微调、可迁移,而不是可自建。

同期另一个信号

Meta 的 Muse Spark Open 是 8160 亿总参、420 亿激活、百万上下文,官方称两台 M5 Ultra Mac Studio 就能跑。这条更值得普通团队关注,因为它把万亿级模型的运行门槛压到了桌面级硬件。

怎么选

要自己跑,看激活参数和量化后的显存占用,别只看总参数。要接 API,看长上下文的实际衰减曲线,一百万 token 的窗口在第 80 万 token 处的召回率往往掉得很厉害。

Mistral Large 4 开放 1.05 万亿权重与百万上下文,开源阵营再抬一档 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

半山不语

1.05 万亿参数的推理成本是硬门槛,普通团队还是走 API。倒是 Meta 那个 8160 亿总参、420 亿激活、两台 Mac Studio 能跑的更值得看,本地部署门槛在往下掉。

路人0835

万亿 MoE 加百万上下文,纸面确实顶格,但我更关心显存占用和推理延迟的真实数字。百万上下文下注意力开销是平方级涨的,除非做了稀疏化,否则单机根本放不下,能真跑满的团队不会太多。

登录 后参与回复