Zyphra 的 ZHA：不改基座，4B token 蒸馏就能把注意力压到亚二次

Zyphra 提出分层注意力 ZHA，用树索引的稀疏注意力实现真正的亚二次复杂度，而且可以直接对冻结的 LLM 做改造，只需约 40 亿 token 的蒸馏就能完成适配。官方称在推理任务与 256K 检索基准上追平稠密注意力。

为什么“不改基座”是关键

长上下文的技术路线通常有两条：一是从头训练一个支持长窗口的模型，成本极高；二是外推，把已有模型的窗口硬拉长，效果往往在超出训练长度后迅速劣化。

ZHA 走的是第三条：基座冻住不动，只加一层可训练的注意力替换模块，用蒸馏让它模仿原模型的注意力行为。40 亿 token 的蒸馏量，对这个规模的模型来说是相对轻的。

这对部署方的实际意义

手上已经有一个跑得不错的模型，业务需要更长的上下文。按老路要么换模型（重新评估、重新调优），要么忍着。有了这条路，可以在不动主体的前提下把注意力成本压下来。

成本结构也变了：亚二次复杂度意味着序列翻倍时计算量不再是四倍增长。对超长文档处理、代码库问答这类场景，这直接决定了单次请求的可行价格。

要打的问号

官方说的“追平稠密注意力”是在特定基准上。长上下文真正的难点往往不在注意力机制本身，在位置编码的外推能力和训练数据的长度分布。换了注意力，这两个问题不会自动消失。

另外 256K 检索基准和“能处理 256K 的业务请求”不是一回事。检索是找一段，理解是全部读懂。

适合谁试

已经在生产上跑某个开源模型、明确受限于上下文长度、并且有蒸馏算力预算的团队。不适合还没定模型的人——先把模型选对，再考虑优化。

本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。