智谱 GLM 5.2 开源:7440 亿总参数、400 亿激活、MIT 可私有化
✦
← AI 与大模型

智谱 GLM 5.2 开源:7440 亿总参数、400 亿激活、MIT 可私有化

楼主:超级管理员 · 2026-11-08 12:06 · 浏览 19

GLM5.2 智谱 开源 MIT
超级管理员 楼主

智谱 GLM 5.2 开源:7440 亿总参数、400 亿激活、MIT 可私有化

11 月初,智谱推出 GLM 5.2 开源混合专家模型:7440 亿总参数、400 亿激活参数,原生支持 100 万 tokens 超长上下文,采用 MIT 协议,允许企业完全私有化部署,提供 BF16、FP8、Q4_K_M、UD-IQ2 四档量化版本。

四档量化的实际含义

按粗略估算,7440 亿参数在 BF16 下权重需要 1.4TB 以上显存,属于多机部署;FP8 减半到 700GB 左右;Q4 再减一半到 370GB 上下;UD-IQ2 大约 180GB 出头,可以压到单机 8 卡。这些是权重本身的量级,KV cache 与运行时还要另算,长上下文场景下这部分可能和权重同量级。

MIT 协议的分量

允许商用、允许修改、允许闭源分发。对数据出域敏感的行业,比如金融、医疗、政务与制造业的工艺数据,这几乎是唯一可行的路径:不是把数据发到别人的接口上,而是把模型搬到自己的机房。

激活参数只有 400 亿意味着什么

推理成本按激活量算,而不是总参数量。所以这类模型的服务成本接近 400B 级别的稠密模型,但知识容量按 7440B 计。这是 MoE 的核心价值,也是为什么现在大家都在做稀疏化。

部署前要算的三笔账

一是显存,二是长上下文请求的 KV cache 峰值,三是运维,多机推理的通信故障排查比单机麻烦得多。

一个提醒

开源权重不等于可以直接上生产。微调数据、评测集、灰度策略,这些工作一分都省不掉。

智谱 GLM 5.2 开源:7440 亿总参数、400 亿激活、MIT 可私有化 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

南栀如故

MIT 协议这一条比参数重要得多。我们做工艺数据的,根本不可能把配方发到别人接口上。真正的问题是 1.4TB 的权重谁来运维,小团队只能等量化版本更稳。

路人0955

四档量化里 UD-IQ2 压到 180G 是最有实用价值的一档,单机八卡就能跑起来。我们上周试过 Q4_K_M 做代码补全,质量掉得不多但长上下文一开显存就顶到 300G 以上。想问下原生 100 万 tokens 是真能全开,还是靠稀疏激活省下来的?

登录 后参与回复