8GB 显存跑 128K 上下文：本地大模型的两条路都在变便宜

两个消息放在一起看很有意思：开源本地大模型工具 Strata 发布 0.2.10，主打 8GB 显存也能用 128K 超长上下文；Unsloth 更新加了 Glass 主题与外观自定义，同时给出 DeepSeek-V4.1 512K 上下文的基准，称其 GGUF 在 Terminal Bench、DeepSWE 与 AutomationBench 上表现靠前。

8GB 跑 128K 靠什么

长上下文吃的是 KV cache，不是权重。一个 7B 模型量化到 4bit 只占 4GB 左右，但 128K 上下文的 KV cache 可以轻松吃掉几十 GB。

能压下来的手段不外乎几种：KV cache 量化（把 cache 也压到 4bit 甚至 2bit）、分页与淘汰（类似 vLLM 的 PagedAttention，把不活跃的页换出去）、滑窗加摘要（只保留近期 token 的完整 KV，远期的压成摘要）。

每条都有代价。KV 量化到 2bit 精度损失明显，长文里细节会丢；分页淘汰依赖访问模式，随机访问的场景效果差；滑窗摘要在需要精确回溯原文时直接失效。

“能跑 128K”和“能读懂 128K”

这是两件事。技术上把 128K 塞进去不难，难的是模型在这个长度上的实际表现。多数开源模型在超过训练长度后，中段信息的召回会显著下降。这也是为什么很多实践建议把关键信息放首尾。

评估的时候要做“大海捞针”测试：在长文的不同位置埋一个事实，看模型能不能找出来。位置在中间时准确率掉多少，才是真实指标。

Unsloth 那边的意义

Unsloth 一直主打低成本微调，这轮更新加了多卡训练选项与 CPU 训练支持。CPU 训练听起来鸡肋，但对没有 GPU 的小团队是“能不能做”的问题，不是“快不快”的问题。

给出的 512K 上下文 GGUF 基准也值得看，虽然榜单排名在噪声环境里会重排，但至少说明量化后的长上下文模型在真实编码任务上可用。

给个人与小团队的判断

本地跑大模型的门槛确实在降，但别期待它能替代 API。合理定位是：数据敏感的、离线的、低频的任务放本地；需要最强能力的、高频的走 API。混合使用是当前最经济的选择。

本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。

8GB显存跑128K，靠的是压KV cache不是压权重。量化cache、分页淘汰、滑窗加摘要，每条都有代价：2bit量化长文细节会丢，分页依赖访问模式，滑窗在需要精确回溯原文时直接失效。能跑128K和能读懂128K是两件事，评估要做大海捞针，看关键事实埋在中间位置时准确率掉多少。

KV cache 量化到 4bit 确实能塞进去，但 128K 下注意力本身的开销也上来了，长上下文里中段召回率掉得厉害。真要跑长文档，不如先做分块加检索，8GB 卡上硬撑 128K 更像参数上的胜利，实际体验一般。

8GB 跑 128K 我试过，能用但别指望快：KV cache 压缩之后首 token 延迟明显上去了。长文档摘要这种一次性任务合适，多轮对话就难受。真正门槛不在显存，在你能接受多慢，便宜是便宜，耐心得自己出。