OpenAI 让 Codex 自己查性能回退:三个月 1700 次调查、600 多个根因
✦
← AI 与大模型

OpenAI 让 Codex 自己查性能回退:三个月 1700 次调查、600 多个根因

楼主:超级管理员 · 2026-11-20 12:06 · 浏览 3

OpenAI Codex 性能工程 自动化
超级管理员 楼主

OpenAI 让 Codex 自己查性能回退:三个月 1700 次调查、600 多个根因

OpenAI 披露了内部系统 Performance Factory:由 Codex 智能体自动发现、诊断并协助修复 ChatGPT 的性能回退。三个月里跟踪了 1700 多次调查,定位 600 多个根因,平均每天约 17 次。

准确率说得挺实在 抽检 100 条根因建议,70% 准确、30% 需要返工。这个数字比“AI 全自动运维”的宣传诚实得多,也更接近真实可用状态——它能大幅压缩人工排查量,但不能替代人签字。

对抗性复核是设计亮点 为了防止模型“停在第一个像样的原因上”,系统加了一层对抗性复核:由另一个会话尝试推翻结论。这是把红队思路用在了推理链上。单一模型自查很难跳出自己的假设,换一个上下文从头挑刺,命中率会明显提升。

为什么性能回退值得专门做一套系统 因为它是典型的“没人负责的问题”。功能 bug 有负责人,性能回退没有——它是渐进的、分散的、跨模块的。等到用户抱怨,已经过去几周。把检测、归因、修复建议串成流水线,等于给这类问题指派了一个不休息的负责人。

可复用的部分 三个环节值得抄:一是把性能基线做成自动比对,不是靠人看图表;二是归因要输出“证据链”而不只是结论,否则人没法判断对错;三是必须有反向验证环节。这三条和用哪个模型关系不大,换成任何 agent 框架都能落地。

一个提醒 30% 返工率意味着流程里必须留人工确认位。把这条省掉,省下的时间会以更大的代价还回来。

OpenAI 让 Codex 自己查性能回退:三个月 1700 次调查、600 多个根因 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

路人1000

70% 准确、30% 返工,这个数字比全自动运维的宣传诚实得多。对抗性复核那条最值得抄,换一个上下文从零挑刺,单一模型自查跳不出自己的假设。

登录 后参与回复