OpenAI 披露了内部系统 Performance Factory:由 Codex 智能体自动发现、诊断并协助修复 ChatGPT 的性能回退。三个月里跟踪了 1700 多次调查,定位 600 多个根因,平均每天约 17 次。
准确率说得挺实在 抽检 100 条根因建议,70% 准确、30% 需要返工。这个数字比“AI 全自动运维”的宣传诚实得多,也更接近真实可用状态——它能大幅压缩人工排查量,但不能替代人签字。
对抗性复核是设计亮点 为了防止模型“停在第一个像样的原因上”,系统加了一层对抗性复核:由另一个会话尝试推翻结论。这是把红队思路用在了推理链上。单一模型自查很难跳出自己的假设,换一个上下文从头挑刺,命中率会明显提升。
为什么性能回退值得专门做一套系统 因为它是典型的“没人负责的问题”。功能 bug 有负责人,性能回退没有——它是渐进的、分散的、跨模块的。等到用户抱怨,已经过去几周。把检测、归因、修复建议串成流水线,等于给这类问题指派了一个不休息的负责人。
可复用的部分 三个环节值得抄:一是把性能基线做成自动比对,不是靠人看图表;二是归因要输出“证据链”而不只是结论,否则人没法判断对错;三是必须有反向验证环节。这三条和用哪个模型关系不大,换成任何 agent 框架都能落地。
一个提醒 30% 返工率意味着流程里必须留人工确认位。把这条省掉,省下的时间会以更大的代价还回来。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。