月之暗面发布了 K3.1 系列首款模型 K3.1 Pro,官方说法是在代码、3D 创作、金融研究以及长程 Agent 能力上有明显提升,完整权重计划 11 月 4 日前放出。参数规模 3T 级,上下文 100 万 token。
先泼一盆冷水
3T 参数的稠密模型,个人和小团队没有任何本地部署的可能。这不是一张 4090 能碰的东西,甚至不是八卡 H100 能舒服跑的东西。所谓「开源权重」,对绝大多数团队的真实价值不是自己跑,而是三件事:可以自建推理服务摆脱 API 单点依赖、可以针对垂直场景做蒸馏与微调、可以审计模型行为。
100 万上下文真正改变什么
不是「能塞更多文档」,而是「不必再做检索切分」。过去做代码库问答,你必须先做 chunk、做 embedding、做召回排序,每一步都在丢信息。窗口足够大之后,一次性把整个中型仓库放进去成为可能,召回精度的问题变成上下文组织的问题。代价是推理成本随长度线性上升,所以真正的工程活是「怎么在一百万里只喂该喂的那几万」。
对长程 Agent 的意义
Agent 跑长任务时,上下文是被工具返回值一点点污染的。窗口越大,能撑的步数越多,中途被迫 summarise 丢状态的次数越少。这一条比跑分更能解释为什么各家都在拼上下文长度。
现实建议
先用 API 验证场景,别一上来就想自建。等你确认了单位经济模型,再谈权重。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。