2026 年 10 月发表的一篇系统性综述,梳理了 2024 年到 2026 年初的 58 项实证研究,结论比宣传口径冷得多。
几个关键数字
超过一半的 AI 生成代码在评估后被丢弃。生产力提升最明显的场景是样板代码、文档和单元测试脚手架;在架构决策和企业级调试上收益有限。47 项研究里,自评生产力与客观测量的生产力之间差了 45.6 个百分点。AI 生成代码中存在可利用漏洞的估计比例是 40% 到 50%——这个区间跨任务、工具版本、语言和测量方法差异很大,不能当成某个工具的固定比率,但它足以说明「聚合质量声明需要谨慎测量」。
一个容易被忽略的发现
经验丰富的工程师普遍获得「AI 增益」,而初级工程师面临「AI 拖累」,原因是学习成本被省略了。在一个为期 14 个月的同组对照里,结构化带教把差距缩小了。
这条对团队管理的含义很直接:如果让新人直接拿 AI 出活,短期看似交付变快,两年后你会发现没人能判断产出对不对。
实践上的结论
不是「别用 AI」,而是把工作重心从「写」转到「审」。可以用的一套顺序是:先定验收标准(人审),再给聚焦的上下文(相关测试、回归用例、最近的失败日志),然后保持确定性检查在流水线里(单元、集成、契约、安全、依赖、许可证),最后让 Agent 在最小权限、隔离 runner、写入前需审批的边界内跑。
衡量指标也要换:看变更失败率、逃逸缺陷、flaky 率、评审与修复耗时,而不是看生成了多少行代码。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。