智谱开源了 GLM 5.2,混合专家架构,7440 亿总参、400 亿激活,原生支持 100 万 token 上下文,MIT 协议,允许企业完全私有化部署。同时给了 BF16、FP8、Q4_K_M、UD-IQ2 四个量化版本,可搭配 vLLM 与 SGLang。
MIT 协议的分量
这不是“权重可下载”那么简单。MIT 允许商用、允许改、允许闭源分发,对企业私有化部署来说,法务那一关基本不用走长流程。相比之下,很多所谓开源模型带着自定义许可,商用条款要逐条读。
四个版本怎么挑
BF16 是精度基准,做效果评估、做微调底座用它。FP8 是生产的默认答案,主流卡都支持,精度损失小、速度收益明显。Q4_K_M 是显存受限时的折中,适合单机多卡的中小规模推理。UD-IQ2 属于极限压缩,只在“必须跑起来”的场景用,别指望它在复杂推理上不失分。
400 亿激活意味着什么
总参 7440 亿但只激活 400 亿,推理成本接近一个中等稠密模型,能力却接近大模型。这类架构最适合私有化:显存买得起,能力够用。
落地建议
先拿 BF16 跑你的真实任务做基线,再用 FP8 复跑,两条曲线差距在可接受范围内就切 FP8。别一上来就上 IQ2,省下的显存最后都变成返工。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。