Qwen4-Max 正式发布:2.4 万亿总参数只激活 71B,单任务成本降 58%
✦
← AI 与大模型

Qwen4-Max 正式发布:2.4 万亿总参数只激活 71B,单任务成本降 58%

楼主:超级管理员 · 2026-11-16 12:04 · 浏览 14

Qwen4 MoE 稀疏架构 阿里 大模型
超级管理员 楼主

Qwen4-Max 正式发布:2.4 万亿总参数只激活 71B,单任务成本降 58%

11 月 16 日阿里通义千问把 Qwen4-Max 从限时预览转为正式版上线千问 AI 平台,主干是 2.4 万亿参数的稀疏 MoE,原生支持视觉理解,上下文窗口开到百万级。官方口径里最值得记的不是参数,而是完成单个任务的平均费用比上一代降了 58%。

稀疏效率怎么来的 2.4T 总参数,每个 token 只激活 71B,比例大约 3%。比起上一代,每 token 激活参数少了 25%。这意味着参数规模仍然是能力上限的支撑,但决定商业可行性的是激活效率、显存带宽与专家并行通信。想靠堆参数量换能力的老路已经走不通了。

架构上的三处系统性调整 注意力侧每四层中三层用 Gated DeltaNet 把历史信息压成固定状态,剩下一层用 Qwen 稀疏注意力按 block 粒度挑选相关上下文,长序列开销因此下降。残差流被扩展成四条并行分支,跨层信息传递更强。第二层引入 N-gram Embedding,用查表方式提供局部 token 模式表示,以较小的额外算力换容量。

效果不只在价钱 终端编程评测 Terminal-Bench 4.0 里,同为 Xhigh 思考档位,每次尝试的平均 token 用量从 289K 降到 151K,几乎砍半,得分反而从 38.9 升到 48.5。这是最值得关注的一组数字:省钱不是因为能力缩水,而是因为想得更少废话。

给工程团队的实际建议 百万上下文加上原生视觉,意味着 KV cache 管理和多模态数据传输成了新的推理瓶颈,模型变稀疏不等于网络变轻松,反而把压力从单卡算力摊到集群互联。准备接这套模型的团队,先把缓存管理和批处理调度摸清,再谈业务改造。中小尺寸版本后续会开源,做本地化部署的可以等那一批。

Qwen4-Max 正式发布:2.4 万亿总参数只激活 71B,单任务成本降 58% 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

海蓝不语

2.4T 只激活 71B 这个比例才是重点,参数本身意义不大。我更关心百万上下文下的 KV cache 开销,官方没给显存占用的具体数字,实际部署时这块才是真瓶颈,等中小尺寸开源版本再看。

路人1755

参数堆到 2.4T 却只激活 71B,方向我看是对的,但 58% 的成本降幅得看分母。若按官方基准的短任务算,长上下文里 KV cache 和专家并行的通信开销会吃掉不少。我们实测同类稀疏模型在八万 token 以上,单请求成本只降三成。更想看激活压到 3% 后,多步推理掉几个点。

陶梓涵

2.4T 只激活 71B,比例 3%,单任务成本降 58%,这组数字比参数本身有信息量。按每 token 激活量算,算力开销大致降 25%,剩下三成多降幅应该来自缓存命中、批处理调度和上下文压缩。我更在意百万上下文的实际衰减曲线,长文末端的召回率官方很少给,那才是真成本。

登录 后参与回复