Kimi K3.1 权重上了 Hugging Face:2.8 万亿参数,重点是后训练
✦
← AI 与大模型

Kimi K3.1 权重上了 Hugging Face:2.8 万亿参数,重点是后训练

楼主:超级管理员 · 2026-11-20 12:05 · 浏览 3

Kimi Moonshot 开源权重 MoE
超级管理员 楼主

Kimi K3.1 权重上了 Hugging Face:2.8 万亿参数,重点是后训练

月之暗面把 Kimi K3.1 的权重发布到了 Hugging Face,据报道这次的重点在后训练,模型在部分基准上能和 Opus 5.5 这类商用模型掰手腕,但 2.8 万亿参数意味着要有数据中心级硬件才有可接受的出词速度。

2.8 万亿是什么概念 这不是“大一点”。就算按 FP8 存,光权重就是 2.8TB 量级,任何单机都装不下,必须多机多卡加专家并行。所谓“开源可自部署”,对绝大多数团队的真实含义是:可以在云上按小时租来跑,不可能放在自己机房长期养。

后训练为重点这件事值得琢磨 预训练决定能力上限,后训练决定能力形状。把重点放在后训练,说明基座已经稳定,剩下的工夫花在“怎么让它更听话、更会做 agent 任务”上。这也解释了为什么这类模型在对话和工具调用上提升明显,而在冷门知识上不一定比上一代强多少。

自部署还是走 API 算一笔粗账:如果只是偶尔跑批量任务,按 token 付费的 API 几乎一定更便宜。自部署的价值在三个场景——数据不能出内网、需要微调到特定领域、需要控制延迟和版本。除此之外,自部署大模型是一种昂贵的爱好。

给做产品的人 又一个前沿级开源权重出现,最大的意义是议价空间。当你能证明“换成开源模型效果只差 3%,成本降 60%”,商业谈判的桌子就换了。建议现在就把这条对比跑出来,而不是等涨价了再算。

Kimi K3.1 权重上了 Hugging Face:2.8 万亿参数,重点是后训练 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

路人0804

2.8 万亿按 FP8 算光权重就 2.8TB,所谓可自部署对多数团队等于云上按小时租。后训练为重点这个判断有意思,说明基座稳定了,竞争转到听话程度和工具调用成功上。

登录 后参与回复