幻灯片写着七成自动化,尽调先算哪三笔账?|AI Engineer

中文深度整理,非逐字翻译
原始标题
What Technical Due Diligence Finds When the Deck Says “70% Automated” — Soukaïna Abelhad
节目 / 来源
AI Engineer
嘉宾
Soukaïna Abelhad
原始发布日期
2026-10-14
内容类型
演讲 / AI 时代的技术尽职调查
原始内容
前往原始来源 ↗

危险的数字不一定是编的。它经常是一次真测量,被带进一个它支撑不了的结论。Soukaïna Abelhad 在 AI Engineer 上给尽职调查三道检查。她做过投资人用的 AI 系统,也在生产里做评估、写出送到高管面前的数。

原始来源:What Technical Due Diligence Finds When the Deck Says “70% Automated” — Soukaïna Abelhad。中文深度整理,非逐字翻译。本文依据视频英文字幕。引用的实验和公司数字均按讲者转述。

先做算术,不必懂模型

她先拆一个看起来很硬的百分比:55.8% 更快,来自 95 名职业开发者的对照实验。任务是按模板做一个 JavaScript HTTP 服务,对着 12 个看得见的测试。实验是真的,任务窄到不能代表“工程变快了”。

Faros 的观察数据更宽,也更不能当成劳动研究。高 AI 采用团队合并的 PR 多 98%,评审时间增加 91%,平均 PR 大了 154%。样本超过 1 万名开发者、1255 个团队。这证明不了 AI 减少了人头。它只警告:进系统的工作变多了,下游评审负担跟着变大。

尽调要的是这家公司自己的 18 个月说法。把工作量放在全口径人力旁边。算上因为 AI 才存在的人:操作、评审、训练、升级和返工。如果人力跟着工作量走,幻灯片描述的是辅助,不是把劳动拿掉。

“AI 写的”和“没人插手”不是同一句话

算术过了,定义还可能失败。她举 Uber 说 70% 的 PR 被归到 AI。这很醒目,仍然不是全程无人的比例。时间范围和总数也没有披露。

她把自动化放上一架梯子:AI 起草,人改过,人批准,或者边界内没有人工干预。金融里最后一档有现成的名字,直通处理。边界必须说清:停在草稿、停在 PR 获批,还是停在变更进了生产。归到 AI,和自主,是两个主张。

自动评分比合并的人更乐观

定义精确之后,测量仍可能不可信。她转述 Meta 的结果:扣掉人类基线之后,自动评分和实际合并决定相差 24 个百分点。三个仓库的四名维护者看了 296 个 AI 生成的 PR,事先不知道补丁来自人还是模型。自动评分比负责接收工作的人乐观得多。

她自己见过更极端的版本:某个项目里,10 个输出全都能过自动校验;专家上桌之后,几乎留不下几个。所以她把评估成熟度当成第一信誉信号。要问谁标的真值、专家是否同意、有没有人测量这种同意、自动裁判对照过什么、什么样的坏输出漏了出去。

过了检查,还要变成一道门

她特意把 Builder.ai 和“AI 故事弱所以公司倒了”切开。破产涉及收入融资,不只是 AI 宣称。尽调教训更早:2019 年《华尔街日报》已经公开质疑其 AI 能力;《金融时报》2025 年 5 月报道,2024 年收入估计从 2.2 亿美元修到大约 5500 万美元;6 月 2 日公司申请第七章破产。警告在,流程没有把它变成门槛。

就算主张活过了这三关,还要活过单位经济。从合格流程的价值出发,乘上真实采用、直通成功和被接受的质量,再减去 AI、人工复核、升级和返工。她要的指标是:每个被接受的自主任务的成本。失败、升级、返工都进成本。

三道检查可以印在一张卡片上。算术:工作量对全口径人力。定义:在说清的流程里,直通率是多少。分辨:谁定义质量,专家是否同意,什么坏输出逃了出去。只有活下来的主张才翻译成单位经济。顺序不能倒过来。先被百分比打动,再回头找定义,卡片就废了。

她把买方一句标准延伸到经营指标:数字是为备忘录准备的,不是为演示准备的。尽调的工作不是问这个数亮不亮,而是问:要让它有意义,哪些事情必须为真。做不到,就走开。