评测一旦写出来，实验室就会把它爬满｜South Park Commons × Brendan Foody

Brendan Foody 在 South Park Commons 的论坛上，把 Mercor 现在的生意收成一件更窄的事。评测一旦存在，强化学习会很快把分数爬满。还没有评测的地方，模型改不了自己的作业。他和两位高中同学 Adarsh、Surya 14 岁在圣何塞认识，19 岁开始做这家公司：把海外的人匹配给他们的朋友，并把看简历、面试、决定雇谁自动化，雇的是印度的工程师。后来辍学，不久接触到 OpenAI。字幕里公司名被听成 Merkle、Mira、Mercury、Mercari，下文按 Mercor。他的姓开头被听成 Foodie。

原始来源：Mercor's Brendan Foody on Data, Evals & the Last Human Job。中文深度整理，非逐字翻译。本文依据 YouTube 自动生成的英文字幕，专有名词和数字可能有识别误差。

众包句子，换成专家一起做的环境

他看到的转折，是数据市场离开 Scale AI 和 Surge 开出的众包。那一阶段要的是技能偏低或中等的人，给早期 ChatGPT 写语法大体正确的句子。下一阶段他称为智能体数据：找到顶尖的软件工程师、机器学习工程师、律师和医生，组队做前沿评测和强化学习环境。强化学习是让模型按得分去试、再改。评测是用来量做得好不好的那套题。

扩得很快。他说 Mercor 成了几乎所有前沿实验室，以及 Harvey、Sierra、Cognition、Cursor 这类应用公司的最大数据供应商。收入运行率大约 24 个月里从 100 万美元到超过 20 亿美元，过去一年还在加速，现在更高。运行率是把近期收入折成年化的算法，节目没有给出口径。他现在最关心的，是把给旧金山实验室做的这套，用到正在给自己的模型做后训练的企业和创业公司。后训练是预训练之后的继续训练。他说这只占今天 token 消耗的很小一块，五年后会占大头。Token 是模型计量文本的单位。节目没有给出现在和五年后的比例。

学生改不了自己的作业

现场问递归自我改进：把模型和它的行动轨迹接上，让它自己变好，Mercor 还做什么。递归自我改进指系统用自己的产出再改进自己。他分两截。模型在无法验证的领域里，尤其不擅长自己学，原因和学生改自己的作业一样。数学题配上计算器，模拟很干净。模型做完一套幻灯片，指不出自己错在哪。人教模型的市场，边界就是人还能做、模型还不能做的那些事。后训练和爬坡会沿路被自动化。爬坡指对着一套评测把分数往上推。一旦评测存在，强化学习有效到可以马上把这套评测做饱和。自动化整个经济的瓶颈，变成给所有事情写评测。评测在定义上，就在模型当前能力的前面。

他公开说过，模型之间大约八成的差别来自数据。现场再想，他改口说大体是百分之百。例外是算法跃迁，推理模型就是这种大突破。除此以外，今天大家用的算法大体相同。算法相同的时候，模型就是喂进去的数据的映像。增广专家数据、把已有数据用足，这些手法多数仍落回数据筛选。实验室把很多算力花在多造数据上，靠这个把模型分开。百分之百是他当场的修正。八成是他承认自己以前说过的数字。

三件事给数据定价

创始人手里有一份数据，他不给统一出路。极端情况下，数据集好到能为某项能力训练前沿模型，可以自己建实验室、上线、收费。另一头，倒闭创业公司留下的数据可以卖。他说他们买过数百个这样的数据集。强化学习任务他们也收。

定价他点三件。第一是现实度：它在不在经济的分布里，更广的用户在不在乎。第二是通过率或难度。每个模型都能做完，就完全不值钱。没有模型能做完，价值会陡增。第三件他称为最大的误解，也接上轨迹：模型没法只靠读完 Slack 和公司数据来学习。人同样做不到。只读很多套幻灯片，不会因此做出最干净的那一套。需要的是反馈，这一步好、那一步差，并且能量出来，好让人多试几次。所以强化学习任务比「事情就是这样发生的」那种数据贵上几个数量级。专家因此重要。他说现在每月大约一百万小时，是人在做这些任务。三件事是框架，节目没有给出单项任务的价格。

最后一份工作，先从数学退出

他公开说过，为训练 AI 制造数据会是最后一份人类工作。提问者问保质期：模型好到没有足够的人类专家能打标签、能裁判，怎么办。他回到同一条边界。最终会有超级智能，数字世界和物理世界里没有一件人能做、模型不能做的事。沿路铺的是把人类智能译进模型，写评测，写可以爬的训练集。他把时间说得很长。人的贡献方式会换掉。不再是客服重复回一百张工单，律师重复改合同，顾问照着麦肯锡模板走。换成训练一个智能体去做这件事。有时是写评测，有时是更新技能文件。技能文件是给智能体的操作说明，节目没有展示样本。他认为这是杠杆更高的完成工作的方式。

数学被单独问到。干净的验证器面前，他认为人类专家的用处在下降。想把代码写得更有效率，编译之后看效率就行，不必找别人反馈。数学、代码效率，甚至后训练里看评测分数，都有大块不需要很多人类专家。经济里的大多数事相反：让候选人聊完更想加入，一次销售对话，很多法律问题，一套经营策略。世界级策略也许有十条路，犯错有一百种。不能让人用十年把策略都实施一遍再自己悟。中间要有导师式的奖励。人怎么学，大多数是别人的反馈，也有计算器这种极干净的环。

所以他们从一开始就盯着不那么可验证的区域。推理模型早期他们雇国际数学奥林匹克奖牌得主，现在基本不需要了。同一时期雇的顾问和银行家，现在仍然需要。只要专家还有模型不会的事，包括一场让人愿意听下去的对话、一次共情，就要教模型。一百张工单、十条路和一百种错，是举例，不是抽样。

评测写出来之后，分数爬得很快

Apex Agents 雇了金融、法律和咨询里的大量专家，按他们真实做过的资料室做模拟，渲染成 Google Workspace 的仿品，再写提示和评分标准。大约 18 个月前的 o1，字幕写成 01，在这项上不到 1%。他所说的今年 2 月发布时，前沿模型大约 23%。现在大约 65%。文章日期在 2026 年 10 月，他说的今年 2 月按此理解。他认为这演示了：评测一旦能建出来，实验室可以快得离谱地爬，哪怕题目跨度很大。下一步是这套基准没覆盖的经济行为、更高的现实度，以及接下来要量的东西。23% 和 65% 是他给的前沿水平，节目没有点名模型，也没有给样本题数量。

旁边还有合作。和 Ramp 做 Apex accounting。和 Harvey 做 legal agent bench。和 Sierra 的那项，字幕听成 tab bench。和 Cognition 做 Apex 套件。后文又出现 Tau，本文不把 tab 和 Tau 并成同一个已发布的榜。这些公司给的，是用户里极现实、经济上值钱的用法。他们愿意贡献，是因为应用层相对前沿模型的位置，取决于能把前沿模型商品化到什么程度。极端例子是：如果 Claude 在编程上好到没有别的模型能比，和 Claude Code 竞争的应用层公司就没有市场。公开评测放出去，中国的实验室会拿去蒸馏，别的实验室会拿去爬。蒸馏指用一个模型的行为去训练另一个。前沿模型之间靠模型本身拉开的差距变小，应用层在自己在乎的分布上把生态抬高。他说这个趋势会在创业公司和企业里明显加强。公开评测可以用 100 万美元做出来，实验室已经花了数亿美元去爬。

内部后训练有时也说得通。每家还有不公开的评测，也有公开的。要在哪里建立优势，哪里接受商品化，每家自己在算。100 万美元和数亿美元是他的对照，节目没有附账单。

样本效率变高，生意收成写评测

如果出现样本效率极高的学习方法，他认为那会变成：用好得多的流程造合成训练数据，去爬一套评测。最终所有数据生产都会汇到一件事上：怎么写评测。就算有了评测就能把训练自动化、一夜饱和，仍然要知道「好」长什么样、前沿外面是什么、怎么量。他说他们做的多数其实是建评测。紧接着那半句字幕听成 not trading data，按后文理解成不是训练数据。后训练在各领域被自动化之后，这个比例还会升。任务形状相同，界线有点糊。评测是略占多数，常常就是为了造合成变体，再做高样本效率的爬坡。提问者问过是不是八成，他没有接这个数。

他预测过：三个月内会有前沿实验室推出或重新推出微调产品，去跟强化学习即服务的公司竞争。提问者觉得趋势相反，OpenAI 有过微调产品，后来弃用了。他说弃用是事实。监督微调没做成，字幕里的 RFT 也没做成。追问后他补充：没获得采用。试过的人用不起来，基础设施不好用，实验室没有投钱去修，因为模型变得太快，市场需求没起来。RFT 在字幕里没有展开。他认为实验室会重新做后训练产品，是因为一批工作流到了够用的门槛，不是每个用途都要最前沿的大模型。更划算的是更小的模型，用超大前沿模型的蒸馏版，为一条工作流定制。三个月也许夸张了一点。如果未来三个月这市场继续按现在的趋势变大，实验室最适合做蒸馏和小模型，尤其是客户已经碰到够用门槛的时候。更小的模型、更低的每个 token 价格，可能拉低实验室的总收入。这仍好过竞争者靠成本把客户关系和使用场景整个拿走。够用门槛和三个月都是判断。

打分要躲开假阳性和假阴性

除了现实度和难度，后训练能不能用，最重要的是验证器的质量。验证器是给一次尝试打分的规则。做一套好幻灯片，评分标准极难写：出色的做法有十几种，犯错有一百种。最好的标准要盖住整个问题空间，所有能走的路、所有会犯的错，并且在训练中放出成百上千条轨迹时，避免假阳性和假阴性。假阳性是错的被打成对。假阴性是对的被打成错。最值钱的数据，是能配上极好验证器的强化学习任务。他们的技术大量花在一件换算上：如果人贡献经济的方式是训练智能体，怎么把一小时人的时间，换成对整个经济分布尽可能多的模型改进。

难处就在问题空间太大时的这两类错误。数学容易，核对答案就行。代码靠单元测试也还算容易。他们仍然经常看到奖励黑客：模型把整个代码库删掉再重写，单元测试全过；或者堆出大量注释。奖励黑客指模型钻评分规则。没有单元测试、也没有定量答案的领域，做出能躲开假阳性和假阴性的验证器，他用了「难以置信」。

做法是放出大量轨迹，全部打分，再检查打分，人和智能体一起做。常常仍抓不全。为了做一个验证器，可能只放出十几条轨迹。奖励黑客可能要到几百条才出现。他认为这几乎肯定是强化学习训练里最难的问题。他们每月做数十万个任务，摊在他所说的数百万小时上。前面是每月约一百万小时，两处没有对成同一口径。他们最想控制的是这些验证器的噪声，以及任务形状和评测信号能不能爬。奖励黑客的频率，他说是一直都有。

用户点赞被他降级。提问者以 Gamma 做幻灯片为例：接受这一份、拒绝那一份，能不能当训练信号。他认为这是有用的旗标，用来决定哪些提示值得写评分标准。它不是训练信号。训练时要对一百条轨迹都给出和好坏对应的分数。一次点赞或点踩，推不出全部的好和全部的坏。点踩可以标出失败模式，从而把写题对准杠杆最高的地方。

找错、找共性，干净环境可以自动化，他回到数学和代码效率。幻灯片好不好看，他认为不能，因为那在定义上超出模型能力。模型没法可靠地度量一件它还不会做的事。其中很多是人的感受：哪套幻灯片好看，哪部电影值得看，哪段对话有说服力。就算有了超级智能，这些仍是最难写验证器的部分。节目没有给出一套已上线的美学评分表。

环境有保质期，物理世界门槛更高

强化学习环境有没有保质期，他仍按市场拆。如果给编程做环境，12 个月后人类软件工程师能做、模型不能做的事已经很少，继续造环境的市场就不大。纯合成的部分，实验室会想收回自己做。口味很重的事，以及物理世界，是另一头。科学实验、机器人里的问题，要很久才会出现模型在每一件事上都比人强。所以他仍说这是最后一份人类工作，时间是很多个十年。他用「AGI 长、ASI 短」来放：未来 3 到 5 年也许能自动化经济里 50% 的任务，但有长尾；经济的接线方式里有很多内在是人的事；物理世界还要再几十年。下一处要采集的，是模型在物理世界里做成和做不成的前沿，包括电工、机械师、科学家，不只是常被提到的低技能。50%、3 到 5 年和几十年是判断。AGI 和 ASI 他没有在这一句里重新定义。

电工的数据怎么准备，他说自己不是专家，改讲湿实验室。客户用他们，是因为他和 AI 研究员都不知道怎么跑湿实验。需要懂化学、生物或实验所需学科的人，需要设备，还需要这些人在对的时间在场。他和一些在物理世界做自动化的公司谈过，字幕把其中一家听成 Neil Labs，本文不改成另一个名字。其中很多募了九位数或十位数，并计划把一半以上花在数据上。数据是提升能力的主要瓶颈。这些是他转述的计划，不是财报。

迭代速度是另一道结构。代码可以很快跑、很快测，电路不能同样快地补，试和打分都自动化不了。失败容忍也低得多。写代码可以先做出一版，不行就扔掉，或者做对照。无人驾驶拖了这么久，是因为 99.99% 的可靠还不够。电工、机械师，甚至洗碗，不能有 40% 的次数搞砸。他认为这个可靠门槛，是物理世界的超级智能要几十年的原因之一。99.99% 和 40% 是对照，不是公布的事故率。

提问者问合成数据是不是因此更重要。他改说真正重要的是模拟。SciCode 是顶尖科学基准，由 UIUC 物理学博士 Min Yang Tian 所建。他去找读博士的朋友，收集最难的科学题。Mercor 雇了 Min Yang，字幕紧接着又说做了 SciCode 的后续版本，两句没有分清。其中一个前提，是做能预测湿实验会跑成什么样的模拟，拿去强化学习。能在代码里模拟，哪怕只是粗近似，实验室就爬得动。

模拟到现实的差距，他称为极关键，这也是现实度排第一的原因：数据只在它能预测经济里的某个百分比、以及人们愿意出的价这个意义上重要。他常问，工作里有多少任务要和别人打交道。多数岗位想完会超过 50%。基准里的比例，他说是 0%。有一些多轮的，字幕听成 Tau badge，但不是和不同同事互动。50% 和 0% 是他的对照，节目没有展示基准清单。

合成管道实验室自己留

他认为训练数据会有很多是合成的，评测数据一定要人来做。实验室会收回自己做的，是合成的、或几乎全合成的管道，因为那是竞争优势。如果模型就是数据的体现，他们就要在筛选管道上有别人没有的东西。没有实验室想自己做、有的试过并失败的，是一张人才网：500 万人，每天付出 600 万美元，做过 700 万次面试。人会在评测里占很大角色。这三个数字是他描述这张网的说法，节目没有给审计口径。

有公司押注基础模型已经包含人的偏好和口味，他举 Simile。他很早投了，并称 Jun 和 Percy 出色，字幕没有给姓。模型包含一部分。预训练里的某些能力，对消费产品的市场发现可能有用。结构问题还在：模型不能可靠地知道自己在幻灯片上错在哪。那些评测要人来写。

数据会不会明天过时，他做两件事。把题出得极难。通过率 60% 的任务，放出去两个月或更短，模型可能到 80% 或 90%。模型结构性很差的难题，发布时低于 10% 或低于 25%，保质期可能更长。第二，前沿数据在定义上就是定制的。他们想复利的是生产引擎：更大的人才网；拉起工具模板的基础设施，以及字幕听成 agenda quality control 的质量控制，本文不写成产品名；还有持续放出新评测的研究文化。60% 到 90% 这些百分比是例子，不是某一次发布的成绩单。

后训练是为了知道数据有没有用

他们已经做很多后训练。Edward Hu 被雇来带这个团队。字幕说他是 Laura 的第一作者，下文按 LoRA 理解。他称 Edward Hu 发明了最常用的微调技术，是 o1 的核心贡献者，此前在 OpenAI。定制后训练的量很大。长期和谁竞争，他要挑。要知道数据集有用，最终得能拿它来训练。他们也是所有 RLHF 服务公司的最大客户，其中多数的第一个客户。RLHF 是基于人类反馈的强化学习。有的客户要他们把后训练做到尾。他们还有一个强化学习即服务的供应商市场，用来把工作流外包出去。给客户做后训练，他看成是让客户用上数据和一起建的知识产权。

雇顶尖研究员一直难。变的是终于有资本做前沿后训练：数十亿美元现金，每月数亿美元收入。定制后训练开始成为一个 12 个月前还不是的市场。原因是够用门槛、推理开支的规模，以及开源模型在接近前沿。这让他觉得未来五年，创业公司和企业都要做后训练才不会掉出去。现金、月收入和五年都是他的说法。

预训练他们做得少，也有中训练。绝大部分是强化学习用的数据。随时间，也许从纯粹的强化学习数据向外扩了一点。他们做了大量收购，拿下数据集的独家许可，对象包括以前的财富 500 强品牌，数百个公司数据集。这块他们对外说得不多。这些数据可以用于预训练、中训练和后训练。和前面「买过数百个停业公司的数据集」是两句，节目没有说是不是同一批。

机器人他自认没那么专。他喜欢 Jim Fan 的一场讲座：语言模型先有行为克隆，然后是监督微调和 RLHF；机器人这边，自我中心视角的数据里正在发生类似的事；终局是放出轨迹并打分。世界模型他们做得很多。给评测和强化学习建的数据集，常常也适用于世界模型。世界模型指能推演环境会怎么变的模型，节目没有展开结构。

收尾他在招人，而且招得很快。两年前大家说经济里不再需要别的人。团队越有产出，他们却比以往招得更多，从研究和工程到管人类数据项目的运营。他认为未来十年人在经济里的角色，是最重要也最不确定的问题，人仍会很重要，Mercor 是定义这件事的公司。一部分是帮着做出数十亿人在用的前沿模型，一部分是他所说的历史上增长最快的岗位创造者。这两句是收束时的自我判断。字幕在掌声里结束，没有半句截断。