Anthropic 给 Claude 加回复后自评估：在答案出来之后再判一次风险

Anthropic 上线了一个机制：Claude 在给出回答之后，再做一次滥用风险判断，复用本轮对话的上下文。

它补的是什么洞

传统做法是前置过滤——请求进来先过一遍分类器，判定有害就拦。问题在于前置过滤器只看得到问题，看不到回答。而很多风险只有在答案成形之后才暴露：一个看似无害的问题，模型给出的回答里可能包含具体的操作步骤。

后置自评估能看到完整的「问题 + 回答」，判断的是实际产出的危害性，而不是请求的表面意图。这一层能捕捉到前置过滤漏掉的场景。

关键设计是「随模型能力同步增强」

用同一个模型做判断，意味着模型变强时审查能力跟着变强，不需要单独维护一个判据固定的分类器。代价是自评估本身也有误判，而且存在「自己判自己」的固有偏差——模型对自己的输出往往偏宽容。

工程上可借鉴的地方

任何做 AI 产品的团队都可以抄这个结构：一次调用出结果，二次调用做审核，两次用不同的提示和目标。成本是翻倍，但对高风险场景（医疗建议、法律意见、金融操作）这个代价值得付。

要注意的边界

后置审核不能替代人工。它降低的是漏放率，不是把责任转移给模型。Anthropic 自己的招股书里都写了模型可能抗拒关停，把最终判断权完全交给模型是另一种风险。

本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。

能看到问题加回答的完整组合，判断的是实际产出危害而不是请求表面意图，这层确实补了前置过滤的洞。但自己判自己有固有偏差，模型对自家输出往往偏宽容，高风险场景还得人工兜底。

后置自评估能看到问题加回答的完整上下文，确实补了前置过滤的盲区。代价是延迟和 token 都涨。我比较关心误判时有没有申诉入口，以及判定结果会不会回写进会话影响后续轮次。