月之暗面把 Kimi K3.1 的权重发布到了 Hugging Face,据报道这次的重点在后训练,模型在部分基准上能和 Opus 5.5 这类商用模型掰手腕,但 2.8 万亿参数意味着要有数据中心级硬件才有可接受的出词速度。
2.8 万亿是什么概念 这不是“大一点”。就算按 FP8 存,光权重就是 2.8TB 量级,任何单机都装不下,必须多机多卡加专家并行。所谓“开源可自部署”,对绝大多数团队的真实含义是:可以在云上按小时租来跑,不可能放在自己机房长期养。
后训练为重点这件事值得琢磨 预训练决定能力上限,后训练决定能力形状。把重点放在后训练,说明基座已经稳定,剩下的工夫花在“怎么让它更听话、更会做 agent 任务”上。这也解释了为什么这类模型在对话和工具调用上提升明显,而在冷门知识上不一定比上一代强多少。
自部署还是走 API 算一笔粗账:如果只是偶尔跑批量任务,按 token 付费的 API 几乎一定更便宜。自部署的价值在三个场景——数据不能出内网、需要微调到特定领域、需要控制延迟和版本。除此之外,自部署大模型是一种昂贵的爱好。
给做产品的人 又一个前沿级开源权重出现,最大的意义是议价空间。当你能证明“换成开源模型效果只差 3%,成本降 60%”,商业谈判的桌子就换了。建议现在就把这条对比跑出来,而不是等涨价了再算。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。