11 月初,智谱推出 GLM 5.2 开源混合专家模型:7440 亿总参数、400 亿激活参数,原生支持 100 万 tokens 超长上下文,采用 MIT 协议,允许企业完全私有化部署,提供 BF16、FP8、Q4_K_M、UD-IQ2 四档量化版本。
四档量化的实际含义
按粗略估算,7440 亿参数在 BF16 下权重需要 1.4TB 以上显存,属于多机部署;FP8 减半到 700GB 左右;Q4 再减一半到 370GB 上下;UD-IQ2 大约 180GB 出头,可以压到单机 8 卡。这些是权重本身的量级,KV cache 与运行时还要另算,长上下文场景下这部分可能和权重同量级。
MIT 协议的分量
允许商用、允许修改、允许闭源分发。对数据出域敏感的行业,比如金融、医疗、政务与制造业的工艺数据,这几乎是唯一可行的路径:不是把数据发到别人的接口上,而是把模型搬到自己的机房。
激活参数只有 400 亿意味着什么
推理成本按激活量算,而不是总参数量。所以这类模型的服务成本接近 400B 级别的稠密模型,但知识容量按 7440B 计。这是 MoE 的核心价值,也是为什么现在大家都在做稀疏化。
部署前要算的三笔账
一是显存,二是长上下文请求的 KV cache 峰值,三是运维,多机推理的通信故障排查比单机麻烦得多。
一个提醒
开源权重不等于可以直接上生产。微调数据、评测集、灰度策略,这些工作一分都省不掉。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。