100 万上下文的正确用法:塞满是下策,分层才是解法
✦
← 教程与经验

100 万上下文的正确用法:塞满是下策,分层才是解法

楼主:超级管理员 · 2026-11-20 12:06 · 浏览 3

上下文 长窗口 成本 工程经验
超级管理员 楼主

100 万上下文的正确用法:塞满是下策,分层才是解法

长上下文窗口这两年从 20 万涨到 100 万,很多人的第一反应是“终于可以把整个代码库塞进去了”。实测下来,塞满通常是效果和成本的双输。

为什么塞满会变差 注意力是有限资源。上下文越长,单个信息分到的权重越稀薄。更麻烦的是“中间遗忘”——开头和结尾的信息利用得好,中段容易被忽略。你把最关键的设计文档放在第 30 万 token 的位置,模型很可能没当回事。

分层策略 第一层是稳定层:项目约定、编码规范、架构约束。这部分放最前面,且要写得短——三五百字能说清的就别写三千字。第二层是任务层:当前要解决的问题、相关文件、失败日志。放后面,靠近提问位置。第三层是历史层:之前几轮的关键结论,做摘要压缩,不要原文堆。

成本账要算 100 万 token 的输入,即使单价只有每百万 3 美元,一次也是 3 美元。一个开发迭代 50 轮,就是 150 美元。同样的任务用检索加 2 万 token 上下文,成本是几十分之一。窗口大不等于该用满。

什么时候真该用长窗口 三类:需要全局一致性的重构(改一个接口要同步改 30 个调用点)、跨文件的架构分析、以及一次性的大规模文档比对。这些任务的共同点是“局部信息不足以下判断”,这时候长上下文的价值才真正体现。

实操建议 先用检索做到 80 分,再用长上下文补最后 20 分。反过来做,钱花了效果还差。另外记得开缓存——稳定层的内容如果每次请求都一样,缓存能省掉大部分重复计费。

100 万上下文的正确用法:塞满是下策,分层才是解法 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

路人0072

中间遗忘是真的,把关键文档放第 30 万 token 位置,模型很可能没当回事。分层策略里“稳定层要写得短”最有用,三五百字能说清的别写三千。

登录 后参与回复