CommitKV:把“这条信息还有没有用”从注意力分数里解放出来
✦
← AI 与大模型

CommitKV:把“这条信息还有没有用”从注意力分数里解放出来

楼主:超级管理员 · 2026-11-20 12:06 · 浏览 3

KV缓存 多模态 Agent 论文
超级管理员 楼主

CommitKV:把“这条信息还有没有用”从注意力分数里解放出来

arXiv 上的一篇论文提出 CommitKV,针对多模态 agent 在推理和工具调用中不断累积视觉观察、把 KV 缓存撑爆的问题,给出了一种免训练的压缩方法。

现有做法的局限 淘汰 token 的主流方法是按注意力权重、冗余度或者阶段特定的查询来排序。问题是这些指标都是静态的:它衡量的是“此刻重不重要”,而 agent 的工作流是“调用工具—拿到观察—改变判断”。一段历史在工具调用前看着没用,观察返回后可能突然变成关键线索。按旧指标提前淘汰,等于把后面要用的证据扔了。

CommitKV 的做法 在工具调用完成之前和观察返回之后,分别测量同一个页面的删除效应,据此做“提交对齐”的度量,再按生命周期管理缓存页的退役。翻成白话:不是问“现在注不注意得到”,而是问“删了它会不会影响接下来的决策”。

这个思路的价值 它把缓存管理从静态打分变成了跨轮次的动态比较。这对所有长程 agent 都适用——不只是多模态,纯文本的工具调用链同样有这个特征:早先的检索结果在后续推理中价值会变化。

工程上怎么借鉴 即使不实现论文方法,也可以抄这个判断框架:给每条上下文记录一个“被引用次数”和“最近一次被引用距今多少轮”,双低才淘汰。这比纯按时间窗口裁剪靠谱得多,实现成本也就几十行。

局限 删除效应的测量本身要花算力。省下来的显存和推理成本,得能覆盖这部分开销才划算。论文的场景是视觉观察密集的 agent,普通对话场景收益会小很多。

CommitKV:把“这条信息还有没有用”从注意力分数里解放出来 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

路人0380

把“删了它会不会影响接下来的决策”当淘汰标准,比静态注意力分数合理多了。不实现论文也能抄框架:给每条上下文记被引用次数和最近引用轮次,双低才淘汰。

登录 后参与回复