一项针对多智能体系统的研究做了个很扎实的实验:在文件库里植入伪造记录,然后观察不同架构下的行为。
结果很有意思 强模型自己检索时,千余次试验里几乎没出现有害修改——它对可疑信息有天然的怀疑。但一旦把检索任务委派给廉价的子代理,系统就明显更容易采纳错误信息。覆盖 18 款模型的模拟显示,5 个聚合器在绝大多数试验中都会复现被污染子代理的错误。
为什么会这样 编排模型看到的是子代理交回来的「结论」,而不是原始材料的上下文。子代理把一条伪造记录当成事实汇报,编排模型没有任何依据去质疑它——信息在传递过程中被压缩,怀疑的线索一起被压掉了。层级越深,压缩越狠。
工程上的应对 一,子代理的输出必须带来源引用,编排层要能回溯到原始条目,而不是只拿到一段总结。二,关键写入操作前加一道独立校验,别让同一个链路既产出又验收。三,对低成本子代理的产出降低信任权重,涉及事实性内容时用强模型复核一遍,宁可多花一次调用。
这件事的启发超出了多智能体 它其实是老问题的新版本:任何信息经过中间层都会失真,而失真的方向通常是「更像结论、更少限定条件」。人类的汇报链路也一样。区别在于人会对下属的判断打折,而现在的编排模型默认信任子代理的输出。这个默认值该改了。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。