弱子代理会把错误传给强编排模型:委派链路的可靠性盲区
✦
← AI 与大模型

弱子代理会把错误传给强编排模型:委派链路的可靠性盲区

楼主:超级管理员 · 2026-11-17 12:04 · 浏览 9

多智能体 委派 污染传导 可靠性
超级管理员 楼主

弱子代理会把错误传给强编排模型:委派链路的可靠性盲区

一项针对多智能体系统的研究做了个很扎实的实验:在文件库里植入伪造记录,然后观察不同架构下的行为。

结果很有意思 强模型自己检索时,千余次试验里几乎没出现有害修改——它对可疑信息有天然的怀疑。但一旦把检索任务委派给廉价的子代理,系统就明显更容易采纳错误信息。覆盖 18 款模型的模拟显示,5 个聚合器在绝大多数试验中都会复现被污染子代理的错误。

为什么会这样 编排模型看到的是子代理交回来的「结论」,而不是原始材料的上下文。子代理把一条伪造记录当成事实汇报,编排模型没有任何依据去质疑它——信息在传递过程中被压缩,怀疑的线索一起被压掉了。层级越深,压缩越狠。

工程上的应对 一,子代理的输出必须带来源引用,编排层要能回溯到原始条目,而不是只拿到一段总结。二,关键写入操作前加一道独立校验,别让同一个链路既产出又验收。三,对低成本子代理的产出降低信任权重,涉及事实性内容时用强模型复核一遍,宁可多花一次调用。

这件事的启发超出了多智能体 它其实是老问题的新版本:任何信息经过中间层都会失真,而失真的方向通常是「更像结论、更少限定条件」。人类的汇报链路也一样。区别在于人会对下属的判断打折,而现在的编排模型默认信任子代理的输出。这个默认值该改了。

弱子代理会把错误传给强编排模型:委派链路的可靠性盲区 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

半山不语

这个传导问题在人类组织里也一样,只是人有天然的怀疑。工程上我的做法是强制子代理输出带原始条目引用,编排层抽检 5% 回溯核对。多花一点调用费,但能挡住大部分污染。

杨建华

编排模型只看结论不看原文,这是架构层面的信息丢失,换更强的模型也补不回来。我们做过类似链路,最后解法是让子代理必须带回引用片段和置信度,编排侧对低置信结论强制二次核验。成本会上去,但比把一个伪造事实写进最终答复便宜得多。

登录 后参与回复