数据公司，全球 AI 圈的年度赢家。
只要是帮模型厂收各种数据、搞评测、做 RL 环境...今年，你很少能看到没赚到钱的数据公司。
有国内头部公司的预计年化收入在一亿美金左右。在海外，投资机构 Menlo Ventures 的一位合伙人年中预计，做数据及 RL 环境的28家创业公司，年收入总共约85亿美元，总估值接近1000亿美元。
其中，海外头部几家的增长曲线最有代表性。
比如 Mercor。它的年化收入今年2月超过10亿美元，6月超过20亿美元。7月，它宣布收购 RL 环境创业公司 Deeptune。同月还有报道称，它在按200亿美元估值谈新一轮融资。
还有 Surge AI，目前的公开估值约250亿美元。创始人 Edwin Chen 对外表示，自己从创业第一天起就是赚钱的。
在大模型、AI 应用、具身智能都被嘲过“没活了”的2026年，数据公司，是为数不多蒸蒸日上的行业。
最近，Mercor 的 CEO Brendan Foody 更是在一场访谈中直说，他觉得给 AI 做训练数据，会是人类的最后一份工作。
按 Foody 在这场对谈里的说法，现在它的人才专家网络有500万人，每天要向这些人支付600万美元。
不过随着需求变化，Mercor 现在的重点工作已不仅是提供专家数据。
这场对谈里，Foody 强调的核心概念是“评测”，也就是用来给模型打分的任务和标准细则。
Foody 认为，一旦某件事有了评测，模型很快就能把分数刷满。所以真正的瓶颈变成了：怎样给每一件事都建立评测。
围绕着评测和数据，他还公开了一些外界眼中的秘密。
比如一家应用公司之所以会花上百万美元做一套公开评测，是因为不止一家大模型公司可能会花几亿美元去提高这套评测的分数，这样应用公司就不会被某一家的模型牵着鼻子走。
他还承认，虽然大模型公司在自动化数据和评测体系，但没有人想管理一个数百万人的人才网络 —— 这是 Mercor 的核心竞争力之一。
除了这些，Foody 还谈了后训练和 RSI 对行业带来的变化、高质量数据的判断标准，以及对物理世界、化学实验场景的看法。
以下是这场对谈的全文。
模型差异100%来自于数据
Q：我们最近一直对数据这个方向很感兴趣，所以请来了 Mercor 的首席执行官 Brendan Foody。先聊聊 Mercor 的起源故事？
Brendan Foody：当然。我在旧金山湾区长大，我和两位联合创始人 Adarsh、Surya 是 14 岁在圣何塞上高中时认识的。
我们 19 岁时创办了 Mercor，最初是在国际范围内招人，把他们匹配给我们的朋友，并把其中所有流程自动化。比如我们招印度的工程师，再把他们匹配给我们的朋友。
后来我们从大学退学，不久之后遇到了 OpenAI。我们在那里看到数据市场正在发生巨大转变。
Scale 和 Surge 开创的是众包模式，也就是找低技能和中等技能的人，为早期版本的 ChatGPT 写一些勉强合乎语法的句子。
而市场正在转向智能体（自主完成多步任务）这种数据模式，也就是怎样找到顶尖的软件工程师、机器学习工程师、律师和医生，让他们组成团队协作，共同构建前沿的评测和强化学习环境。
所以我们从那时开始极速扩张，成为几乎所有前沿实验室以及所有顶尖应用层创业公司的最大数据供应商，这些公司包括 Harvey、Sierra、Cognition、Cursor 等等。
我们的年化收入在约 24 个月内从 100 万美元涨到了 20 亿美元以上。现在比这个数字高得多，过去一年增长还在加速。
我现在最关注的事也和这次对话有关，就是怎样把我们为旧金山的 AI 实验室开发的所有这些技术，应用到更广泛的企业和创业公司身上。
这些公司现在正在探索怎样对自己的模型做后训练。
我认为这个市场特别有意思，因为它今天只占 Token 消耗量的很小一部分，但 5 年后会占到 Token 消耗量的绝大部分。
Q：我感觉现在我们又站在一次转变的边缘，就是递归自进化（RSI）。所以我们有一个问题：RSI 对 Mercor 的业务意味着什么？
Brendan Foody：我想说几点。
首先，模型在不可验证的领域里确实很难靠自己学习。
原因和学生很难给自己批改作业一样，如果你有一道数学题，并且有计算器这样非常干净的模拟环境，那就很容易。但模型做完一份演示文稿后，并不能识别出自己的演示文稿里有哪些错误。
所以“人类教模型改进”的市场，规模上限取决于有多少事情是人能做、模型做不了的。
当然，在这个过程中，我们会把后训练和爬坡（反复优化模型某项指标分数）的流程自动化。
但我认为我们会走向这样一种模式：
一旦你有了某件事的评测，强化学习就非常有效，你可以立刻把这个评测的分数刷满。
所以要自动化一切，瓶颈就在于怎样为所有事情建立评测，而评测按定义就是超出模型当前能力前沿的东西。
Q：你公开说过，模型差异的 80% 来自数据。另外 20% 又来自哪里？
Brendan Foody：有人问过我这个问题，但当我进一步思考之后，觉得我更应该说是 100%。
当然要加一个前提，确实会发生算法上的转变，比如推理模型，那是巨大的突破。但就今天的大部分情况来说，大家用的都是相同的算法。只要大家用的是相同的算法，模型就只是输入数据的反映。
所以大家也许会有不同的技巧，比如怎样扩充专家数据，怎样从手上的数据里榨取最大价值。
但归根结底，这些大多还是落到数据筛选和整理上。这也往往是实验室投入大量算力的地方，也就是怎样生成更多数据，以及它们最终怎样让自己的模型与众不同。
“反馈”决定了数据价值的上限
Q：说到数据，经常会有人问类似的问题：如果我们是创始人，手上有一些数据，而且觉得它们很有价值，该怎么办？
Brendan Foody：这很大程度上取决于是什么样的数据。
可以做的事情有很多。在极端情况下，如果你有一个极其有价值的数据集，可以针对某项特定能力训练出前沿模型，那你可以建一个实验室，提供模型服务，并以此赚钱。
再往另一头，如果你只有一家已经关门的创业公司留下的公司数据集，你可以把它卖掉，我们买过几百个公司数据集。
如果你有强化学习任务，我们也会做。
所以我觉得这和你手上的数据类型非常相关。你可以用这些数据来研究怎样针对你关心的场景训练模型，也可以想办法把数据变现。我们很乐意成为买家，其他很多公司也会愿意。
Q：你们怎样判断一个评测或者一份数据的科学价值，以及可能与之相关的金钱价值？
Brendan Foody：有几件事很重要。
第一是真实性，也就是它有多贴近实际分布，有多贴近所有用户普遍关心的事情。
第二，当它是带任务的评测时，要看通过率或者难度。
如果一个任务所有模型都能完成，那它就完全没有价值。如果一个任务没有任何模型能完成，价值就会高得多。
最后我想说的是，人们在看待数据价值时最大的误解，也和刚才 RSI 和运行记录的内容有点关系。
那就是，模型并不能靠阅读你的 Slack 或者公司的所有数据来学习。原因和我们人类也学不会一样。如果我只是读一堆演示文稿，我并不一定知道怎样做出最完美的演示文稿。
我需要的是反馈。比如这份演示文稿里我哪里做得好，哪里做得不好，以及怎样衡量这些，让我能多次尝试、不断迭代和改进。
这就是为什么强化学习任务比单纯拥有一堆“发生过什么”的数据要值钱好几个数量级。
这也是为什么专家在创建这些任务时发挥着巨大作用，我们现在每月大约有 100 万小时的人力在构建这些任务。
Q：我接下来想问专家的是。你提到过，创造数据来训练 AI 将是人类的最后一份工作。这意味着人类数据采集有一个保质期。当模型在某个学科上已经强到几乎没有足够的人类专家能给它打标签或做评判时，会发生什么？
Brendan Foody：人类改进模型的市场规模，上限取决于有多少事情是人能做、模型做不了的。所以我认为，最终我们会迎来超级智能，也就是无论在数字世界还是物理世界，都没有什么事情是人能做而模型做不了的。
但在这条路上，一路铺满的就是怎样通过构建可以用来爬坡的评测和训练数据集，把人类智能转化到模型里。把这件事做好，需要极其漫长的时间。
而我认为人类未来就是这样为经济做贡献的。
我们会离开人们做重复、冗余工作的模式，比如客服代表重复回复 100 张工单，律师重复修订合同，咨询顾问照着麦肯锡的模板做事。会转向另一种模式，也就是怎样训练 Agent 去做这件事。
这会以各种形式体现出来，有时候是构建评测，有时候是更新技能文件（写给 Agent 看的操作说明）。但我真的认为，人类为经济做贡献的整个方式，都会转向训练智能体做事，因为这在结构上是杠杆更高的、完成工作的方式。
Q：数学里有干净的验证手段，算是例外。在数学这样的领域，人类专家的作用可能正在下降吗？
Brendan Foody：我认为这里有一个很好的经验法则，就是看我们自己是怎么学东西的。
如果想学会写出真正高效的代码，差不多只需要看看代码编译之后效率如何。所以我们有一个干净的验证循环，不需要别人的反馈。
所以有些问题是这样的，比如数学、代码效率，甚至后训练本身，你只要看评测上的分数就行。这类问题里有很大一部分感觉不需要太多人类专业知识，因为环境定义得非常清楚。
但如果想想生活工作中绝大多数的事情，比如怎样和候选人谈话才能让对方兴奋，或者怎样谈一场销售，有太多事情本质上就是属于人的。
很多法律问题也是这样。再比如怎样制定商业策略，针对一个问题，你可能有 10 种方式做出世界一流的商业策略，也有 100 种方式犯错。这和拥有干净的验证循环完全相反。
如果你对一个人说，好，你接下来 10 年把这些商业策略全都实施一遍，自己去摸索，那他会很难学会。显然需要一些阶段性的奖励，比如有导师给我们反馈，告诉我们哪里进展顺利，哪里不顺利。
所以如果我反思我们是怎么学习的，绝大部分靠的是别人的反馈，只有一部分我们拥有像计算器那样非常干净的反馈循环。
Q：Mercor 是不是一直在把评测之类的工作重心，转向这些不太可验证、不那么干净的领域？
Brendan Foody：这从一开始就是我们的重点。任何领域的市场，规模上限都取决于有多少事情是人能做、模型做不了的。
所以在推理模型的早期，我们一开始招了国际数学奥林匹克竞赛的奖牌得主。当然，我们现在已经不太需要这些奖牌得主了。但与此同时，我们当时也招了很多咨询顾问和银行家，现在我们依然非常需要这些人。
所以，只要有任何一件事，是这些专家能做而模型在数字世界或物理世界里做不了的，可能就属于人。
比如怎样和别人进行一场真正打动人的对话，或者怎样表达共情，我们就需要教模型怎么做。
做评测是一种防御
Q：我想和你聊聊 Apex。一年前在 Apex 上表现最好的模型得分只有个位数。现在前沿模型的能力到了哪里？这个数字和专业人士之间，还剩下什么差距？
Brendan Foody：我们构建了 Apex Agents 基准测试，请了大量金融、法律和咨询这几个顶尖领域的专家。
他们照着自己在工作中用过的项目资料库，搭建了一批类似的资料库，里面放着完成一个项目需要的文件。
然后我们把这些资料都放进模拟的 Google Workspace 办公环境，再写好任务指令和评分标准，用来检验模型完成工作的水平。
有意思的是，大约 18 个月前的 o1，在 Apex Agents 上的得分不到 1%。今年 2 月我们发布 Apex Agents 时，前沿模型大约是 23%，现在它们到了 65%。
这真是一个疯狂的证明：一旦你能为某件事构建评测，实验室就能以快得离谱的速度把分数爬上去，即使评测覆盖的问题空间非常宽、非常多样。
所以很自然，下一步的演进就是思考还有哪些事情它没有覆盖，怎样提高真实性，以及怎样衡量接下来的东西。
Q：你提到了 Apex Agents，但你们还有 Apex Accounting，然后和 Harvey 等等公司也有关于评测的合作。这类合作是怎样促成的？
Brendan Foody：他们自己了解的是，自家用户群里存在哪些非常真实、有经济价值的使用方式。
他们贡献这些的动机是：一家应用层公司存在的理由，或者说它针对前沿模型能有多少防御能力，取决于它能把前沿模型商品化到什么程度。
举个例子，如果 Claude 在编程上比其他所有模型都强得多，强到极端的程度，那么和 Claude Code 竞争的应用层公司就没有市场了。
所以如果它们把一个公开评测放出来，所有中国实验室都会用它来做蒸馏，其他每家实验室都会去爬这个分数。
前沿模型单靠自身获得的杠杆就会开始变小，它们也就能在自己关心的任务分布上提升整个生态，这对它们的业务非常重要。
所以我认为，这个趋势会大幅加强，每家创业公司和企业都会想构建公开评测。
因为你可以花 100 万美元做一个公开评测，而实验室会花几亿美元来爬这个分数。所以这是一种杠杆非常高的方式，可以在你关心的任务分布上提升模型能力。
Q：也可以有另一种说法吧。这样的公司也许可以利用自己独特的洞察和优势，直接在内部爬坡，做后训练？
Brendan Foody：有些情况下这是合理的。所以这些公司也都有其他私有评测，同时还有一批公开评测。
这和你想在业务的哪些地方建立竞争优势、哪些地方想把它商业化有很大关系。这是每家应用层公司都在思考的战略问题。
Q：我们再多聊聊训练。如果明天出现一种样本效率极高的学习技术（只用很少的数据就能学好），并席卷全世界，Mercor 会怎么样？
Brendan Foody：我想这件事最有可能的样子是，出现了更好的流程，可以创建合成训练数据来爬某个评测的分数。
我认为最终所有数据生产都会纯粹收敛到怎样构建评测上。因为即使你能把整个训练过程自动化，一旦有了评测就能一夜之间把分数刷满，你仍然需要知道“好”是什么样的，知道前沿之外的东西是什么，以及怎样衡量它。
很多人没有意识到，我们的业务其实大部分是在构建评测，而不是训练数据。我认为随着后训练在各个领域逐步自动化，会越来越成为趋势。
Q：有没有一个凭感觉的比例，比如 80% 的工作是构建评测？
Brendan Foody：这个界线总是有点模糊，因为任务的形态是一样的，所以并不总是完全清楚。但我会说，评测略微占多数。
而且往往是这样的评测：针对某个使用场景，怎样创建合成变体，然后在这些评测上做样本效率极高的爬坡。
后训练的未来三个月
Q：你预测一家前沿 AI 实验室会在未来三个月内推出或重新推出微调产品，与帮客户做强化学习训练的服务商竞争。但我觉得趋势似乎正好相反，因为 OpenAI 曾经有微调产品，但后来停用了。
Brendan Foody：确实是这样，他们曾经有微调产品，后来停用了。监督式微调效果不太好，强化式微调（用评分反馈来微调模型）效果也不太好。
它们效果不好的原因是没有获得采用。我认为试图采用的人用不起来，因为基础设施不好用，而实验室没有投入修复基础设施，因为模型进步得太快，市场没有这样的需求。
我认为实验室会开始推出更多后训练产品，原因是，对某些工作流程来说，我们似乎正在达到一个“够用阈值”。也就是，不是每个使用场景都需要最尖端的模型。
对某个特定工作流程来说，用它们那些超大前沿模型蒸馏出来的版本，定制一个更小的模型，在结构上就是更有效率的。
而且现在已经开始出现这样的创业公司生态，有很多公司在做后训练、做强化学习即服务，以及围绕它们的各种产品。
所以如果按现在的趋势，这在未来三个月继续成为一个非常大的市场，那 AI 实验室就必然最有条件去蒸馏和训练更小的模型，尤其是在它们的客户已经达到够用阈值的情况下。
Q：这不算有点自己搬起石头砸自己的脚吗？
Brendan Foody：我觉得在某些方面，这确实会降低他们的总收入。
但这总比让一个在成本上有比较优势的竞争对手出现要好，那样它们会彻底失去这个客户关系和使用场景。
Q：那在数据方面，你们怎样区分适合后训练的数据和不适合的数据？
Brendan Foody：除了我前面说的真实性和难度，最重要的是验证器（用来判断模型做得对不对、并给出分数的规则或程序）的质量。
拿我刚才提到的做一份出色演示文稿的问题来说，建立评分标准是一个极其困难的问题，因为做出一份出色的演示文稿可能有十几种方式，而犯错的方式有 100 种。
所以，最好的评分标准需要覆盖整个问题空间的全部可能性，你可能走哪些路径，可能犯哪些错误，并且在训练中跑出成百上千条任务轨迹来打分时，避免任何假阳性和假阴性（把错的判成对，或把对的判成错）。
最有价值的数据，就是那些能建立出极好验证器的强化学习任务。
我们很多技术都投入在怎样用最高效的方式做到这一点。
如果我们相信人类为经济做贡献的方式将是训练智能体，而不是做重复工作，那么怎样在整个经济分布上，把一小时的人类时间尽可能多地转化成模型能力的提升？我们就是在优化这个比率。
Q：做一个验证器难在哪里？
Brendan Foody：难就难在问题空间这么大时的全部假阳性和假阴性。我觉得这个问题还会叠加变严重。在数学里很容易，你只要检查答案对不对。但大多数领域不是这样的。
即使是代码，有单元测试算是比较容易，我们仍然会看到很多奖励作弊，比如模型会删掉整个代码库，再重新生成一遍来通过所有单元测试，或者堆出大量注释。
而在其他没有单元测试、也没有定量答案的领域，要真正建立能避免假阳性和假阴性的验证器，难度大得难以置信。
Q：如果有用户信号呢？拿演示文稿的例子说，我是 Gamma 这样的公司，生成演示文稿。用户可能接受其中一些，不接受另一些。这能作为训练信号或评测信号吗？
Brendan Foody：它是一个有用的标记，可以告诉你应该针对哪些提示词建立评分标准。但它不是有用训练信号。
原因在于，它回答不了这些问题：错误有哪些形式，重要的标准又有哪些，而大家需要的正是这个。
大家需要让正在训练的模型跑出 100 条轨迹，知道怎样给所有这些轨迹打出一个对应其好坏的分数。
你很难仅从简单的点赞和点踩里，推导出那份演示文稿所有好和所有坏的完整问题空间。
但你能根据点踩了解，模型在哪些地方会出错，有哪些失败模式，这样你就可以把评分标准或任务的生产，集中到杠杆最高的地方。
Q：你觉得可以自动化吗？自动检查这些错误，找出共性和弱点。
Brendan Foody：我觉得在环境非常干净的领域是可以自动化的，又要回到数学和代码上。但对于一份演示文稿有多美观这样的事，我不认为可以。
原因是，它按定义就超出了模型能力的前沿。模型怎么可能可靠地衡量自己不知道怎么做的事呢？
而且其中很多部分在某种程度上是在理解人类的处境，比如人类觉得什么样的演示文稿美观。
所以即使有了超级智能，也还是有这样的问题：
怎样拍一部人类喜欢看的电影，怎样做一份人类喜欢读的演示文稿，怎样进行一场让人类觉得有说服力的对话，这些东西往往是最难建立验证器。
Q：既然这么复杂，那怎样为这类事情构建验证器？虽然难，但 Mercor 正在做这件事，并且卖它。
Brendan Foody：做法是跑出大量轨迹，给所有轨迹打分，再验证打分方式，查找打分中的假阳性和假阴性，并通过人和智能体的某种组合来完成。这大体是目前的趋势。
而且很多时候你并不能全部发现。
比如在构建优秀验证器的过程中，你跑了十几条轨迹，而奖励作弊可能要到跑几百条轨迹时才会出现。这几乎是强化学习训练中最具挑战性的问题。
Q：奖励作弊多久遇到一次？
Brendan Foody：一直都会遇到。
我们每月要在几百万小时的工作量里生产几十万个任务。所以，我们想得最多的是这些验证器的噪声有多大，以及怎样设计出很好的任务形态和评测信号来爬坡。
关于物理世界和前沿科学
Q：有一个持续的争论，就是强化学习环境有没有保质期。你怎么想？
Brendan Foody：我知道我有点重复，但我还是会回到这一点，这取决于具体市场，以及有多少事情是人能做、模型做不了的。
如果你在编程领域构建强化学习环境，而 12 个月后我们在编程上几乎没有什么事情是人类软件工程师能做而模型做不了的，那么这件事就没什么市场。
或者至少，这个市场会被实验室收到内部，因为对纯合成的东西，实验室通常会想自己做。
但对其他非常依赖品味的东西，或者物理世界里的所有事情，比如怎样让模型运行科学实验，以及机器人学里的问题，还需要很长时间。
所以，我认为这是人类的最后一份工作，但这是在很多很多十年的时间尺度上。用一种说法来讲，我是看多通用人工智能、看空超级智能。
也许在未来 3 到 5 年，我们能自动化市场中 50% 的任务，但还有很长的尾部。
物理世界还要再花几十年，那将是数据采集的下一个前沿。
因为我们最终需要能衡量模型在物理世界里成功和失败的所有事情的前沿，包括电工、机械师、科学家等真正高技能的领域。
Q：为电工准备数据或评测，有什么独特之处？或者你选一个物理世界的任务来说也可以。
Brendan Foody：这个我不是专家。我给你举一个我们一直在思考的例子，湿实验室（做化学和生物实物实验的实验室）。
我不太知道怎么运行湿实验室实验，AI 研究员也不知道。
所以我们需要：第一有化学、生物或其他必要专业知识的人来做实验；第二实验室里相关的实验设备；第三确保这些人在所有合适的时间都能来做实验。怎样协调这些后勤是一个很难的问题，是客户用我们的部分原因。
我和一些公司聊过，比如那些正在把真实世界的工作自动化的 Neolab。它们当中很多已经融了几亿到几十亿美元，并计划把其中一半以上的钱花在数据上。
Q：那迭代速度呢？你可以很快运行和测试代码，但修一条电路就没那么快了。
Brendan Foody：确实是这样。所以你没法轻松地对这些任务做强化学习，也就是把尝试和打分的过程直接自动化。这让事情难得多，这是真实物理世界的结构性特点。
物理世界的另一个结构性特点是，很多时候容错空间要低得多。所以，可靠性是还得过几十年才能在物理世界实现超级智能的原因之一。
Q：所以你的意思是，在物理世界这类场景里，合成数据和模拟环境会重要得多？
Brendan Foody：不完全是。我觉得真正重要的是模拟，我们在这方面做了很多工作。
不知道大家有没有听说过 SciCode 这个 Bench。它是目前最顶尖的科学类基准测试，由 Minyang Tian 搭建。
他当时在伊利诺伊大学厄巴纳-香槟分校读物理学博士，他找到身边所有读博士的朋友，把他们手上最难的科学问题都收集了起来。后来我们自然就把 Minyang 招了过来，继续做 SciCode 的后续版本。
这些版本的一个出发点是，我们能不能搭建模拟程序，预测一场湿实验室实验的结果，这样就能把它用来做强化学习。
因为只要能用代码模拟出这场实验，哪怕只是粗略近似，大模型公司就有办法通过反复训练，把模型在这项任务上的分数提上去。
所以在数字世界和物理世界相互融合的地方，有很多很酷的事情可以做。
Q：有不少人在做这类事情，比如消除模拟环境到现实的 Gap。你怎么看这个方向？
Brendan Foody：这至关重要。这也是为什么你问我人们怎样把数据变现时，我说的第一件事就是真实性。
数据的重要性，只在于它对经济的某一部分有多大预测力，以及人们愿意给它多少价值。所以模拟到现实的差距至关重要，我们做的很多事情，就是试着找出人们在这个差距上可能忽略的反共识想法。
一个很有意思的例子是，我经常问别人，他们工作中有百分之几的任务需要和其他人互动。如果你仔细想想，大多数工作其实都超过 50%。但如果我们看这在基准测试里的体现，却是 0%。虽然 Tau Bench 里有一些多轮对话，但没有和不同同事互动的内容。
我们在各种有创意的事情上做研究。比如怎样在物理世界和数字世界里能想到的每个维度上衡量模拟到现实的差距，弥合它。
Q：说到合成数据，前沿实验室正在大力投资合成数据流程，并且都放在内部做。你觉得有没有可能，最后大部分数据都是合成的？
Brendan Foody：很多训练数据会是合成的，但评测数据绝对需要是人类的。
我们一直以来的判断是，大模型公司会自己做的，是全部或几乎全部由程序生成数据的那套流程，因为它们要靠这个建立竞争优势。
既然模型完全就是数据的体现，它们当然要在筛选和加工数据这件事上比别人做得更好。
但有一件事，没有哪家大模型公司想自己做，有些公司试过也失败了，那就是搭建一个 500 万人的庞大人才网络。
我们每天要向这些人支付 600 万美元，已经做了 700 万次面试，才把经济中各行各业的人都组织起来。
所以我认为，人类会在评测上发挥巨大作用，而大模型公司会把合成数据的流程留在自己内部。世界大概会往这个方向走。
数据公司会“进化”成模型公司吗？
Q：前沿是一个动态目标。你们怎样确保今天收集的数据明天不会过时？
Brendan Foody：我想说两点。
第一，如果你把问题做得非常非常难，它们的保质期就会更长。
比如你创建了一个通过率为 60% 的强化学习任务，也许你发布之后两个月或更短时间内，模型就会达到 80% 或 90%，它就没有多少保质期。
但如果你找到真正难的问题，找到模型在结构上就做得很差的事情，比如发布时通过率低于 10%、低于 25%，它可能就有更长的保质期。
第二是，前沿数据本来就得一批一批专门定制。
我们一直在推进前沿，而前沿本身就意味着新东西。所以我们经常思考，怎样让生产前沿数据的引擎不断复利增长。
因为我们知道，我们总是需要更大的人才网络，总是需要所有这些基础设施，用来快速搭建工具模板，以及对数据集做智能体质量控制，总是需要很好的研究文化来推出这些新评测。
所以我们能让所有这些东西复利增长，形成一个非常出色的引擎来生产新的前沿数据，即使前沿数据本身一直在变化。
Q：你有所有的数据，有专家网络，那么 Mercor 会直接进入模型领域吗？你们不能直接做一个模型吗？
Brendan Foody：我们做了很多后训练。
你知道，我们雇了 Edward Hu，他是 LoRA 的第一作者，后来在 OpenAI 是 o1 的核心贡献者。他现在领导我们的后训练团队，做大量定制后训练。
我们确实和所有做后训练的 AI 创业公司和企业密切合作。但对于长期要和谁竞争、不和谁竞争，我们希望谨慎处理。
Q：所以你们有 Edward Hu，也在做后训练，这意味着什么？
Brendan Foody：要判断一个数据集有没有用，最终还得拿它来训练模型，看看效果，所以后训练是我们会持续投入的一项重要能力。
我们也是所有强化学习即服务公司最大的客户，其中大多数公司的第一个客户都是我们。
同时，也有客户希望我们直接帮助完成整个模型的后训练，我们在这方面有很强的能力。
我们也有所有强化学习即服务供应商组成的市场，所以可以把所有工作流程外包出去，所以我们会以某种形式为客户做模型后训练。
但我认为归根结底还是这个角度：怎样最好地让他们利用我们，怎样一起构建的数据、竞争优势和所有知识产权。
Q：过去一两年，你在这件事上的想法有变化吗？你最近雇了 Edward Hu，那在他来之前是什么情况？
Brendan Foody：顶尖研究员一直都很难招，这一点没有变过。我觉得公司现在有了多得多的资金，终于可以投资前沿的后训练工作，现在我们有数十亿美元现金和每月数亿美元收入，这是变化的一点。
另一个变化是，定制后训练现在开始形成一个市场，12 个月前还不是这样。
至于原因，第一是我们聊过的够用阈值，第二是推理支出的规模，第三是开源模型正在接近前沿模型。这些都为形成这样一个市场创造了很好的条件。
感觉未来 5 年，每家创业公司和企业都需要做模型后训练才能保持竞争力。
Q：你们需要在某种程度上降低预训练数据的风险吗？还是说你们现在更关注后训练？
Brendan Foody：更多是后训练，我们在预训练上做得很少。还一直有一种混合，也就是中期训练。但绝大部分的重心在强化学习数据上。
Q：这一点随着时间有变化吗？
Brendan Foody：变化不大。不过这些年，我们做的事确实已经不只是强化学习数据了。
我们还买了大量公司数据，其中有些来自曾经进入财富 500 强的知名公司，我们拿到了独家授权，现在已经买了几百个公司数据集。
这部分业务我们对外说得不多，但这些数据可以用在预训练、中期训练和后训练上。
Q：你觉得在物理世界里，这个故事会变吗？因为至少在我看来，我们还没有走到所有人都在为机器人或者物理世界做后训练的阶段。
Brendan Foody：我在机器人领域没那么专业。我非常喜欢 Jim Fan 做的一场演讲，讲的是大语言模型的后训练发展和机器人领域之间的巨大相似性。这一直让我很有共鸣。
我们基本上先在大语言模型领域收集了所有行为克隆数据，有监督式微调和基于人类反馈的强化学习。
现在机器人领域正在用第一人称视角数据做很多类似的事。最终我们走到了强化学习模式，也就是怎样跑大量轨迹并给它们打分。这就是他所说的机器人领域最终会走到的终局。
Q：那世界模型呢？
Brendan Foody：我们在世界模型上做了很多工作。因为很自然，数字世界和物理世界融合得很深。
我们为评测构建的很多数据集，往往也非常适用于世界模型，所以我们也和很多这类公司合作。
Q：我准备好的问题都问完了，但还有一个。你们在招人吗？
Brendan Foody：我们一直在招人，而且招得极快。这挺讽刺的，因为我感觉两年前大家都在说，我们的市场不再需要任何人了。
但随着团队越来越有生产力，我们招人比以往任何时候都多。
从和 Edward、Minyang 以及其他很多出色的人一起工作的 AI 研究团队，到我们的工程团队，再到很多帮忙管理人类数据项目的运营人员，我们都很欢迎大家来一起工作。
Q：大家为什么要来 Mercor 工作？
Brendan Foody：我们正处在这样一个时刻，最重要的问题是在未来十年，当事情比以往任何时候都更不确定的时候，人类在市场中扮演什么角色？
我相信人类会继续发挥非常重要的作用，而在未来十年定义这件事上，Mercor 是最重要、最有影响力的公司。
这些一部分体现在我们正帮助构建数十亿人使用的所有前沿模型，还有一部分体现在我们是历史上增长最快的就业岗位创造者。
