GitHub 发布 ReviewBench,一个面向 AI 代码审查 agent 的开放基准。它基于 219 个 pull request 构建,覆盖 19 种语言,并以 1.039 亿个 GitHub PR 为建模基础。
它测什么
多来源的审查发现、严重性标签、精确率与召回率指标,配套公开数据集和排行榜。
为什么需要精确率和召回率
代码审查 agent 的失败有两种:漏报该发现的问题,和报告不存在的问题。后者更致命——一旦开发者发现 agent 经常误报,就会整体忽略它的输出。只用“发现了多少问题”来评测,会奖励那些疯狂输出的模型。
严重性标签的意义
把拼写建议和并发数据竞争放在一起计数是没有意义的。带严重性标签才能看出 agent 在重要问题上的表现。
怎么用
如果你的团队在选型代码审查 agent,别只看排行榜总分。按你的主力语言筛子集,看严重性分布,再看误报率。219 个 PR 的样本不算大,单一语言的分样本可能只有十几个,统计意义有限。
配套生态
同期还有几个相关工具:Aperture 是带 staged diff 和预应用检查的开源 AI 代码编辑器,检查项包括解析、导入、类型、浏览器预览渲染和测试,失败的检查保持可见且不会自动应用改动。Cubicle 是只读的可视化监控,把 Claude Code、Codex、Gemini CLI 等 agent 呈现实时的办公视图,含状态、审批提示、任务 KPI 和告警。
CodeGraph 1.6.2
改进了主流语言的符号解析,为 Angular、Rails、Flask、Expo、Nuxt、Astro 等加了路由和框架覆盖,改进了 MCP 重连和大型项目索引。这类能力是代码审查质量的底层——符号解析不准,审查结论就不可信。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。