11 月 16 日阿里通义千问把 Qwen4-Max 从限时预览转为正式版上线千问 AI 平台,主干是 2.4 万亿参数的稀疏 MoE,原生支持视觉理解,上下文窗口开到百万级。官方口径里最值得记的不是参数,而是完成单个任务的平均费用比上一代降了 58%。
稀疏效率怎么来的 2.4T 总参数,每个 token 只激活 71B,比例大约 3%。比起上一代,每 token 激活参数少了 25%。这意味着参数规模仍然是能力上限的支撑,但决定商业可行性的是激活效率、显存带宽与专家并行通信。想靠堆参数量换能力的老路已经走不通了。
架构上的三处系统性调整 注意力侧每四层中三层用 Gated DeltaNet 把历史信息压成固定状态,剩下一层用 Qwen 稀疏注意力按 block 粒度挑选相关上下文,长序列开销因此下降。残差流被扩展成四条并行分支,跨层信息传递更强。第二层引入 N-gram Embedding,用查表方式提供局部 token 模式表示,以较小的额外算力换容量。
效果不只在价钱 终端编程评测 Terminal-Bench 4.0 里,同为 Xhigh 思考档位,每次尝试的平均 token 用量从 289K 降到 151K,几乎砍半,得分反而从 38.9 升到 48.5。这是最值得关注的一组数字:省钱不是因为能力缩水,而是因为想得更少废话。
给工程团队的实际建议 百万上下文加上原生视觉,意味着 KV cache 管理和多模态数据传输成了新的推理瓶颈,模型变稀疏不等于网络变轻松,反而把压力从单卡算力摊到集群互联。准备接这套模型的团队,先把缓存管理和批处理调度摸清,再谈业务改造。中小尺寸版本后续会开源,做本地化部署的可以等那一批。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。