过去几年，大模型的发展一直伴随着一套不断升级的“标尺”：从MMLU、MMMU，到更复杂的Reasoning、Agentic Benchmark，模型需要在越来越难的测试中证明自己。但当模型开始领先于Benchmark，一个更根本的问题也随之出现：如果现有的标尺已经无法描述模型真正的能力，我们究竟应该用什么来衡量AI的下一步？
沿着这个问题继续往前走，Benchmark本身也正在发生变化。过去受限于Grader能力，很多现实世界的开放式任务只能被简化成选择题；而如今，随着模型具备更强的评分、推理和指令遵循能力，评测开始进入真实环境、长期任务与Human Feedback。但新的问题又出现了：一个Benchmark究竟应该有多难？评测成本应该由谁承担？当我们试图用已知的指标去衡量未知的探索，Benchmark本身是否已经与任务目标产生了矛盾？
陈文虎很早便沿着这条路径展开研究。从MMMU、MMLU-Pro等多模态与知识推理Benchmark，到后训练、Critique Fine-Tuning以及Reasoning相关工作，他参与和推动的研究，恰好经历了大模型评测范式快速变化的几年。MMMU曾入围CVPR Best Paper Finalist，他也曾获得Canada CIFAR AI Chair、TMLR Outstanding Paper Award等荣誉。但比这些成果更值得关注的，是他始终在追问Benchmark之外的问题：模型究竟学会了什么，以及我们为什么需要用这样的方式去证明它学会了。
如今，在Meta MSL参与Muse Spark等多模态模型工作的同时，陈文虎也在持续观察Agent、RSI与开放式评测的发展。他认为：能力提升本身并不意味着价值提升，很多时候真正缺少的不是模型能力，而是能够承载这种能力、并将其转化为经济价值的环境。对于RSI，他同样保持克制——如果RSI仍然是在一个预先定义好的环境中不断hill climb，那么它与普通Agentic任务之间，可能并没有想象中那么本质的区别。
本期访谈，我们与陈文虎从MMMU、MMLU-Pro的起源谈起，讨论了Benchmark为何会领先于模型、Grader能力如何推动开放式评测，以及多模态、Agentic和RSI接下来真正值得关注的方向。他也具体谈到了为什么真正的RSI应该发生在“人不知道该怎么做”的环境里，为什么飞轮数据正在成为前沿模型的重要护城河，以及为什么AI真正的进步，最终可能不是由Benchmark驱动，而是由经济价值驱动。
相比追踪下一个榜单、下一个分数，我们更关心的是，当模型开始进入Benchmark无法覆盖的真实世界，什么才应该成为衡量AI进步的新刻度；以及当已知的标尺逐渐失效，我们又该如何判断那些尚未被定义、甚至尚未被人类真正理解的能力。Enjoy~
Z Highlights我觉得Benchmark很重要，尤其是在一个领域还不知道要追求什么目标的时候，Benchmark会帮助这个领域定义应该去做什么。当模型已经领先于Benchmark，这个时间点做Benchmark反而更重要。
你得有一个非常第三方的公司专门去publish benchmark，就像联合国一样。因为很多人都要survive、要赚钱，不可能只靠benchmark存活。所以这本质上是经济学问题：AI社区里很难有一个像联合国一样完全中立、专门发布Benchmark的机构。
以前大家也很想做非选择题、非常贴近现实的评测，只是因为当时没有足够好的Grader。你写出Rubric，也没有一个模型能照着Rubric给出可信的分数，所以只能通过选择题。
现在看不到提升，有时候不是能力上没有提升，更多还是经济价值的问题。当然，另一方面，现有模型范式可能也确实需要一些改变，技术上需要一些突破。
所谓多模态团队，现在不应该只是纯感知的团队，而是去覆盖一些文本团队没有覆盖到的任务分布。它不是只关注感知、附带做一点文本，而是去处理那些本身需要感知能力的文本任务。
在我看来，目前的RSI就是某一种Agentic，它跟正常的Agentic任务没有本质区别。因为RSI的核心在于探索未知，去探索人类本身还没有探索到的东西。但Benchmark是人已经知道大概能达到什么地方，才被造出来的。所以你用Benchmark去衡量真正的未知探索，这件事本身就不太合理。
我觉得整个主线模型上的很多东西，可能都只能在大公司做，这是一个比较悲观的看法。预训练也好，后训练也好，现在已经到了一个阶段：任何一点增量都是非常大规模的，需要非常多的算力，甚至问题已经不只是算力了，还有那些数据，学术界完全拿不到。
更宏观地看AI的整个发展进程，大部分时候模型那些能力的跃迁，其实不是被Benchmark驱动的，它们一直都是被经济价值驱动的。
ZF：欢迎，请先简单介绍一下自己，以及您现在主要在做什么。
陈文虎：我之前在滑铁卢大学当老师，现在处于休假状态。目前在Meta的MSL，主要参与Muse Spark大模型的工作，偏多模态领域，包含预训练和后训练的一些部分。
ZF：我们从Benchmark评测聊起吧。您的工作很大一部分是从MMLU-Pro、MMMU、MMMU-Pro这一系列开始的。是什么契机让你觉得Benchmarking这个领域重要？最开始是怎样启动的？
陈文虎：我觉得Benchmark很重要，尤其是在一个领域还不知道要追求什么目标的时候，Benchmark会帮助这个领域定义应该去做什么。做MMMU的契机是GPT-4V出来后，我们发现大部分视觉Benchmark已经饱和，得不到什么信号。GPT-4V演示里展示的解释幽默、解复杂数学题等能力，在当时的Benchmark里完全没有反映出来；当时主要是OK-VQA、VQA、GQA这类感知Benchmark，不太需要知识和推理。也就是说，模型已经领先于Benchmark了，这个时间点做Benchmark反而更重要。
图 1｜MMMU数据集概览
图 2｜MMMU-Pro构建流程：①用纯文本LLM过滤出高度依赖图像的题目；②将选项扩展至最多10个并经人工校验；③加入实拍照片/截图等形式
后来我做后训练、hill climb STEM推理时发现，STEM里只有数学比较好评测，化学、生物、医学都缺少好的Benchmark。最贴近的MMLU又快饱和了，题目相对简单，模型提升后信号也不强。所以我们把MMLU升级为MMLU-Pro：一方面提高题目难度，另一方面增加选项，让Benchmark更能给出有效信号，能更好地指示模型有没有进步。
图 3｜MMLU与MMLU-Pro对比：（左）准确率差距；（中）24种Prompt下的分数分布，越高越窄表示越稳定；（右）CoT与直接作答的表现差异
图 4｜MMLU-Pro数据集构建流程：原始MMLU → 初步过滤 → 题目收集与整合 → 选项扩展（4个增至10个）→ 专家复核 → MMLU-Pro
ZF：在构建一个Benchmark的时候，你更看重真实性（比如问题都来自真实用户），还是更看重难度（比如最前沿的模型也只能达到30、40分）？哪些因素是你最先考虑的？
陈文虎：这取决于当时的情况。做MMMU和MMLU-Pro时，真实性和难度其实是一起提升的——它们既更难，题目也来源于很多考试和真实用户的提问，所以当时没有做明显的权衡。但现在来看，两者确实需要权衡：过于真实、过于覆盖普通用户的分布，Benchmark就会比较简单；过于追求难度，又可能偏离正常分布。
图 5｜MMMU各学科样题示例（艺术设计、商业、科学、健康与医学、人文社科、技术与工程）
图 6｜MMLU-Pro的学科分布（左）与题目来源分布（右）：约56.6%来自原始MMLU题目，33.9%来自STEM网站，其余来自TheoremQA、SciBench
现在的普通用户分布已经被现有的Benchmark衡量得比较好了，真正欠缺的是professional use case。这些场景非常长尾，比如造船、造电路、造芯片，都需要评测去覆盖，而且最好做成Agentic的Benchmark。像Andon Labs的Blueprint、Vending-Bench，甚至炒股的Benchmark，都足够专业、足够真实、足够难，而且有很大探索空间。我觉得接下来，大家会逐渐更多地去测这一类东西。
图 7｜Vending-Bench：Agent经由邮件/搜索等「远程工具」与「售货机工具」经营一台自动售货机，以最终净资产为主要评分指标，并记录销量、工具调用等运行数据，用于考察长期自主经营的连贯性
ZF：目前的Benchmark中，一类是由公司闭源维护，比如你说的Vending-Bench；另一类像HLE、Terminal-Bench等则是通过众包，从专家和研究者那里收集数据。你觉得这两种形式哪一种更可靠？
陈文虎：我个人更倾向于相对开源的收集方法。很多所谓的私有Benchmark其实是盈利性质的，测一次可能几万甚至几十万——大公司当然可以测10次、20次，然后基本就能逆向破解题目和Rubric，再用这些信息去hill climb；学术界或者穷一点、资源少的公司就只能够测一次，理解上天然吃亏。这样的话，显然测10次的公司成绩会比较好。还有一些厂商会卖分布内（in-distribution）的数据，最后分数就取决于你买了多少数据。
相比之下，把众包数据公开出来会更transparent。大家都有职业操守，不去污染数据，然后在同一套题目上比赛，会相对更公平、更可比。当然，公开题目会带来过拟合风险，但所谓完全保密或私有本来也不存在——只要能买到分布内的训练数据，就有人能看到类似的题目。所以这本质上是经济学问题：AI社区里很难有一个像联合国一样完全中立、专门发布Benchmark的机构。
图 8｜Humanity’s Last Exam（HLE）与已趋饱和的现有Benchmark对比
ZF：从2023年之前到现在，不仅Benchmark的难度变大了，形式也从MCQ转向执行、test case、真实的持续奖励。随着评测越来越open-ended，评测本身的难度是不是也会越来越大？
陈文虎：是的。其实以前大家也很想做非选择题、非常贴近现实的评测，只是当时没有足够好的Grader。你写出Rubric，也没有一个模型能照着Rubric给出可信的分数，所以只能通过选择题。我们当时也尝试过把MMLU做成开放式的，但做不了，最后只能增加选项。
现在大家能做开放式评测，最大的原因是模型的评分能力变好了。只要给它足够详细的Rubric，它就能去评分。选择题可能只覆盖了世界上百分之一的问题，而Rubric加test case可能能够覆盖现实中10%的问题——但剩下90%仍然很难，尤其是设计网站、设计电影这类跟主观性、视觉和创意强相关的任务，最后可能还是要借助人类投票来评测。
ZF：最近我在想，coding之后大家还要做什么。有些任务偏科学或工程，人类对这类行为的评估已经比较成熟；但像bio这样的领域，很难定义一个静态环境，也不可能有1000万个完全一样的胚胎给模型操作。对于这种情况我们该怎么办？
陈文虎：我觉得评测有两种模式。一个任务越专业，往往就越verifiable。比如造船、造电路、造芯片，它们都可以验证，只是验证起来比较困难——造船需要模拟器，电路可以用test case看能不能通电、电压电流是否在目标区间。相反地，律师、法律、创意类的任务会更偏non-verifiable。所有任务都分布在这个光谱上，中间确实会有一些重叠，但大部分任务一般都能归到这两种模式里。
ZF：也就是说，有一些任务本身比较偏科学或工程，且因为具有较高的经济价值，人们对这些任务的评估也比较成熟，所以可以复用到模型的评测上面。
陈文虎：对，现在很多任务还没有被广泛评测，主要还是因为我们缺乏足够好的环境。很多问题只要环境搭建得足够好，就可以验证。就像炒股这样的事，你只要愿意让模型真金白银地去炒、慢慢去炒，它就会有一个结果，可以很好地量化它到底挣了多少钱。现在这类任务之所以没有被广泛采用，主要还是因为我们缺乏一些很好的环境。
像生物这种无法固定环境的任务，只能找proxy evaluation（代理评测）。虽然没有1000万个一样的胚胎，但可以区分低风险和高风险的实验，先用高中、大学实验室里能做的低风险实验去逼近模型的能力。如果模型在这些代理任务上已经表现很好，再进入真正高风险的场景，会相对更可靠。
ZF：你之前在普林斯顿讲过Critique Fine-Tuning。它和Grader之间有什么联系？这种范式在训练里面，能对不可验证的任务产生什么作用？
陈文虎：Critique Fine-Tuning的意思是给模型一个问题和一个别人写的答案，让它生成CoT，再判断答案对错。它本身也是一个RL任务，因为答案对错是二元的、可验证的结果。当时我们把它引入数学任务，标准训练加上Critique Fine-Tuning，会有一定帮助。现在很多大实验室的后训练里已经有类似任务。
图 9｜Critique Fine-Tuning（CFT）与SFT在WebInstruct 5万样本上的对比：在MATH与OlympiadBench上，基于“对答案的批判”训练的CFT一致优于对答案做模仿的SFT
不过，一个好的Grader需要很强的instruction following capability（指令遵循能力）：它要读懂几百甚至上千条细致的Rubric，并把这些Rubric投射到自己的推理空间里。训练Grader本身确实能提升Rubric评分能力，但更大部分的能力还是从SFT和其他RL任务迁移过来的。很多强模型即使不专门训练Rubric评分，它的能力也可能已经有80%，再训练只能推到82%、83%或85%；但如果原本只有20%，也不可能纯靠评分任务把它推到80%，因为大部分能力还是来自其他更基础的任务。
也就是说，通用模型的能力可以迁移到Grader上。但Critique Fine-Tuning主要的理念是，如果一个模型对答案的判断变好，它对这个问题潜在的理解会更深、本身的能力也会更好。这意味着，Grader如果有评分能力，它对这个问题本身的理解也应该更好。它肯定会带来一定的增量，但这个增量到底有多大不好说，因为在不同的情况下、不同的模型规模下都会有不一样的结论。
当时我们的论文主要是把它作为一个额外的训练目标，可以看到一部分提升。这个提升在小模型（比如Qwen等）上会更加显著，因为这些模型没有专门训过这种东西。但到了前沿实验室，他们训练得到的提升可能没有那么大，因为模型本身已经见过非常多的任务了，规模也很大，基线非常高，再加入进去后可能只能看到2%、3%的提升。不过我觉得，即使是这个量级的提升，对他们来说也是非常值得的。
多模态的冷思考：感知能力如何穿过经济价值的窄门，走向Agentic落地
ZF：我们接下来聊一聊Multimodel，现在国内外对这件事好像都不是很乐观。您对多模态的现状有什么评价？
陈文虎：我确实听到很多多模态团队被整合进主线模型的消息。因为我自己就在这个方向里工作，所以对这件事的心态和理解都发生了很大的变化。
去年大家还很相信Omni模型，觉得Multimodel会是下一个大事件，模型的下一次跃迁会来自Multimodel。原因很直接：还有大量YouTube、Instagram Reels这样的视频数据没有进入预训练，而现在的预训练主要还是由文本、网页文本、代码构成。当时世界模型（world model）的概念也很火，大家觉得把多模态的东西加进来之后，模型才知道怎么落地到真实世界、怎么理解真实世界，怎么在视频里预测下一步动作。所以当时很多地方都在构建Omni模型，把世界模型的目标加进预训练，大家也都觉得多模态是下一个前沿。
但真正试验之后，很多地方都遇到了比较大的阻碍：不是完全没有提升，而是提升不够明显，或者找不到很好的评测。某种能力确实是提升了，但你拿它去测编程、测智能体Benchmark，确实没有什么作用。而那些Benchmark已经有了很强的经济价值背书，大家会信它们。如果在这些Benchmark上没有帮助，就得找别的东西证明它有帮助。当然，也有人会自己做一些Benchmark来说自己有提升，但问题在于，那些Benchmark转化不成真正的经济价值。
ZF：所以问题不在于视觉能力完全没有提升，而是这些能力暂时没有变成大家都认可的经济价值？
陈文虎：对。我觉得很大一部分原因是robotics的发展太慢了，embodied的场景还没有变得非常普及。有些公司确实能受益，比如xAI，他们的模型会被用到Tesla上。Tesla有很多视觉定位的需求，自动驾驶很多东西也纯基于视觉，所以它有很强的经济动力去优化这件事——视觉模型变好了，Tesla就开得更好。但对其他前沿模型来说，视觉变好了以后，并没有特别多的受众。
核心问题是，现在很难把视觉能力放进一个具身的机器里，让它真的产生经济价值。最终，如果机器人非常火爆，每个人家里都有机器人系统，那视觉能力就会非常关键：机器人能不能认准一本书、一个物品，能不能把东西从一个房间送到另一个房间，送外卖能不能更快到达目的地，这些都依赖视觉理解。
但在那一天到来之前，大部分前沿实验室还是找不到一个特别好的出路，也就是视觉的经济价值到底在什么地方。Meta会相对好一点，它有智能眼镜，也有Instagram这种偏视觉的产品，但这些东西还没有像智能体那么普及。现在它们也许能产生一部分收入，但可能要等这个量级放大1000倍，经济价值才会真正体现出来。到那个时候再去训练Omni模型，大家就会发现它非常有意义。所以现在看不到提升，有时候不是能力上没有提升，更多还是经济价值的问题。当然，另一方面，现有模型范式可能也确实需要一些改变，技术上需要一些突破。
ZF：如果感知本身暂时很难给主线模型带来明显提升，那多模态团队现在更合理的定位是什么？
陈文虎：现在多模态最大的价值，反而体现在一些垂直领域上。一方面是操作电脑的智能体（computer use agent），另一方面是视觉编程，比如生成前端、网站、HTML。这些其实是偏编程的任务，但很多时候可以放到多模态团队去做，还是能有比较大的空间。
所谓多模态团队，现在不应该只是纯感知的团队，而是去覆盖一些文本团队没有覆盖到的任务分布。它不是只关注感知、附带做一点文本，而是去处理那些本身需要感知能力的文本任务。从这个视角去支持会更合理。比如很多预训练数据，像PDF、视觉编程数据，某种程度上都可以算在多模态团队的范围里，这还是一个比较大的工程。如果你只关注感知，目前能贡献给主线模型的东西会相对窄。
ZF：在AIGC这一块，能不能把Agentic的流程引入进去，让生成也被推理和Agentic的方法增强？比如先分解，再组合。你觉得这个范式会对生成有很大提升吗？
陈文虎：我觉得这个方向本身有比较大的市场。感知本身可能没有很直接的经济价值，但AIGC有非常大的市场。我记得之前有人说，现在互联网上的AI视频，在某个平台的新增内容里可能已经占到了95%，占比非常高。
我自己其实也挺喜欢看AI生成视频的，它有较多可控性，也更容易定制。但现在生成是一个非常麻烦的过程。你想生成一个自己满意的10分钟视频——更不用说1小时了——作为一个博主、内容创作者，中间有非常多写提示词、剪辑之类的工作要做。如果这部分可以被Agentic的方法自动化掉，我觉得会非常有用。比如智能体会看这个视频现在的效果，判断哪里需要加转场，哪里需要加音乐。这种事情如果做好了，可能会是一个非常大的推动。
ZF：所以Agentic生成会像编程智能体一样成为一个重要方向，还是说它有机会成为定义智能边界的下一个范式？
陈文虎：我觉得它本身更可能是一个垂直领域，就像编程智能体一样，会有一些公司专门去做。它现在比较大的阻碍在于，底层的视频生成模型还不够好。尤其是视频生成模型没有很强的指令遵循能力，这件事就会比较难做。如果你的视频生成模型只是纯粹的文生视频（T2V），那问题会很难解。因为要做Agentic的行为，就需要很多编辑能力，也需要落地到一些比较小的片段上，还要有比较强的内容理解和指令遵循能力，才能做出真正好的Agentic产品。
所以我预期它会变成一个比较好的垂直领域，但不会预期它变成下一个大事件。它不会像编程那样，让所有人都去探索。它有很好的合理性，可以赚钱，也会有很多人去做、去改进，但它本身不会定义智能的上界。它的大部分能力还是要从文本的智能体任务那边迁移过来，更多是一个受益者：当智能提升的时候，它的Agentic能力会变强，更愿意调用各种工具去探索整个制作过程，把产品做得更好，产生更好的应用和价值。
感知当然还是重要的，它是整个Agentic系统里很重要的能力之一。很多时候Grader也需要视觉评分，比如判断生成的产物够不够好看。所以现在做多模态，更多是尽可能把它集成到现有的Agentic框架里面去体现价值，而不是独立出来说，我要创造一个新的范式。
RSI不是另一个Agentic：从未知探索的愿景，到昂贵评测的真实距离
ZF：最近RSI（递归自我改进）比较火，您对RSI有什么看法？您怎么定义RSI？我们什么时候可以认为RSI真的奏效了？
陈文虎：我觉得RSI是一个相对比较泛的概念。现在看到的主要是两种RSI：一种是所谓的AI for Science，把AI用到科学里面，帮助科学家提出假设、验证假设，不断推动科学发现；另一种更像是AI for AI，让模型自己去探索、去提升自己，比如自己训练自己，或者自己去改进自己的harness。目前看到的大概就是这两种范式。
这两种东西现在看起来，更像是在做环境。你会看到很多RSI相关的Benchmark，比如RE-Bench、RSI-Bench各种各样的评测。它们会产生一个像gym一样的东西：你把模型放进去，给它一些原子操作，让模型在里面提升自己、变得更好。我觉得这个事儿挺合理的，但我自己没有直接研究过这个东西。
图 10｜RE-Bench：7个手工构建的AI研发环境，人类专家与AI智能体在相同条件下（给定起始方案、1–6张H100、可随时对自身进度评分）进行对比——即访谈中所说“像gym一样”的环境
在我看来，目前的RSI就是某一种Agentic，它跟正常的Agentic任务没有本质区别。一般的Agentic任务，你做到一个阶段，有一个产物、有一段代码，你觉得这个东西可以输出了，就把它输出去，这个任务就结束了。RSI Benchmark还是Agentic Benchmark，只不过它最后多了一个hill climb的过程：每次做完以后，会有一个系统反馈，告诉你现在是什么分数，而不是简单给你一个可验证的奖励，判断过还是没过。
其实MLE-Bench就是很早的RSI尝试之一，比如去爬Kaggle：你先做一个方案，系统给你80分，你觉得还能提升，就继续做、继续往上爬。我自己用Claude Code的时候也经常这样，我会说这个方案现在80分，你能不能帮我改到90分，模型就会做很多这样的尝试。
图 11｜MLE-bench：一个离线的Kaggle竞赛环境。Agent根据任务描述与数据进行训练和验证，生成submission.csv；评测系统在本地评分，并与历史人类排行榜成绩比较（可反复尝试、逐步爬分）
所以从基础能力来看，我没有感受到RSI和智能体有很本质的区别。大部分还是工具调用、探索、自我验证、修正这些东西。唯一不太一样的是，RSI可能会有更多不确定性，需要更高的创造力，任务跨度也更长，怎么做上下文管理之类的事情，也需要更多投入。
ZF：但RSI本身的愿景是探索未知、自我改进。如果用现在的Benchmark去衡量它，是不是本身就有一点矛盾？
陈文虎：对，我也感觉现在很多东西还是在一个相对受限的设置下面，跟RSI本身的愿景有比较大的差距。因为RSI的核心在于探索未知，去探索人类本身还没有探索到的东西。但Benchmark是人已经知道大概能达到什么地方，才被造出来的。所以你用Benchmark去衡量真正的未知探索，这件事本身就不太合理。
更真实的RSI，应该是在一个真实环境里，人本身没有定义上限，人也不知道该怎么做，让模型自己去探索。这个事儿真正做起来还是比较困难的。现在的RSI Benchmark更多是在一个受控环境里，看模型能不能围绕一个已知目标不断hill climb。它和真正探索未知之间，还是有一段距离。
ZF：如果现在的RSI还没有真正走到探索未知那一步，您更看好它在哪些场景先落地？
陈文虎：我自己更相信RSI在科学上的价值，尤其是在一些相对可控的环境里，它确实会有帮助。我跟很多非计算机专业的科学家接触时感觉到，他们做的很多事情其实非常重复、冗余。事情本身未必特别难，但需要人一直盯着；让AI去做这部分工作应该会有一定的帮助。现在很多frontier lab已经在证明这些猜想了，我觉得之后会看到更多这样的东西。
但这件事最终可能不会变成一个特别大众的研究方向。因为这些问题对大众来说太前沿了，很难理解。你证明了一个数学猜想，可能只有数学家能看明白，大众连题目都看不懂。做这部分研究的人，本身也要对这个领域有比较好的认知。比如你没有做过数学竞赛，就直接去研究RSI for Math，这件事本身可能不太合理，因为你不知道这个问题本来应该怎么做。
到某个阶段，Agentic的知识也会饱和。模型该会的已经会了，你再想帮助它，就需要更多数学上的洞察。所以它最后会是一种人和AI的协作。大部分研究者很难直接参与AI for Science，但社会一定会从这个东西的成果里受益。只要有一小部分人会用AI去探索科学的边界，他们做出的发现就可能迁移到日常产品、医学和各种各样的领域里，回馈整个社会。所以我觉得它的价值还是很大的，只是它未必会变成一个所有人都去研究的范式。
ZF：从Benchmarking的角度看，研究类Benchmark和编程智能体在范式上没有本质区别，但实际操作差别很大。它不是跑几个test case就结束了，而是需要训练模型，或者用很高的成本去执行操作。验证也不好做：单一分数作为评测可能可以，但作为RL环境就不太行。比如没办法做GRPO，因为太贵了，也没办法采K个rollout。那有没有什么办法，可以避免总是去碰这些执行困难、成本很高的验证？
陈文虎：即使我作为一个做Benchmark的人，有时也会觉得测一次太贵了，比如测一次要拿100张GPU跑10天才能出结果。我觉得确实没有什么特别好的方法可以绕过这个东西。只能说，这件事的价值和它的成本往往是成正比的。
你当然可以设计一个很便宜的Benchmark，只用一张GPU或一个CPU，训练一个小时就能出结果，也可以用它去评测模型的RSI能力。但它能反映出来的价值，远远没有让模型去训练一个nanoGPT、一个GPT-3那么大。成本降下来以后，信号往往也会跟着变弱。所以我觉得，这种RSI Benchmark不会成为我们日常跟踪的东西，不会说今天训完一个模型，马上就跑一次评测。它更可能是你觉得有突破的时候，或者出现几个关键checkpoint的时候，才跑一次，给你一个比较好的信号。
还有一个问题是，这种Benchmark的方差会非常大。Benchmark本身有方差，它要训练的模型也有方差，两个方差会直接叠加。你这次测出来10%，下次可能就测出来20%，挑战非常大。整体来说，RSI的评测确实挺难的。我目前也没有一个很好的答案，大家可能还是得去找一些代理任务来评测，这可能是一个更现实的方案。
ZF：Benchmark从2023年到现在，经历了从二元判断到开放式的转变。但如果开放式太困难，会不会又有一部分评测从开放式转回二元？比如一个代理指标是，Meta用Muse Spark在内部做研究，研究员会对它打分——对还是不对、帮到我没有。用这个指标，可能也能衡量模型做研究或工程的能力，相当于又把它转成一个问答题。只不过人的打分不一定可复制。
陈文虎：对，这就是所谓的flywheel data（飞轮数据）。现在很多前沿模型最大的护城河，就在于它们有flywheel data。像Claude Code、Codex这样的产品，背后都有大量真实的人类反馈数据。这些数据非常真实，可以帮助模型去覆盖之前在训练里没有见过的分布。我觉得这是目前看过去最大的一个护城河。
ZF：在人类数据里面，您觉得更重要的是提问、回答，还是验证？
陈文虎：我觉得都很重要。环境加提问是非常重要的东西，你得有这个环境，才能复现这些任务。人类的回答也有很大帮助，尤其是用在不可验证的任务上。因为人类本身有一些偏好，但这个偏好又不是ChatGPT那种纯模板化的东西，它更多是在给一个模糊的提问提供合理性。
很多时候，你给一个定义清晰的提问和给一个模糊的提问再加上用户的很多背景信息，后者其实也没那么模糊，只是模型比较难处理这种任务。如果后期能得到用户的正面反馈或负面反馈，就可以用这些东西去做一些RL训练，这会有比较大的帮助。
ZF：所以现在Agentic任务的RL研究，外面的人还能做吗？还是说这类事情只能在大公司里面做，外部研究者很难真正理解它是怎么做的？
陈文虎：说实话，我觉得整个主线模型上的很多东西，可能都只能在大公司做，这是一个比较悲观的看法。预训练也好，后训练也好，现在已经到了一个阶段：任何一点增量都是非常大规模的，需要非常多的算力，甚至问题已经不只是算力了，还有那些数据，学术界完全拿不到。甚至很多时候，造这些环境本身就已经非常昂贵了，就更别说去训练那个模型。所以外部研究者不是完全不能做，但很难在主线模型的核心问题上，做出和大公司同等条件下的比较。
当Benchmark失去刻度：可用性、安全边界与经济价值如何接管AI进步
ZF：在Benchmark分数之外，对话的舒适性、可用性也是一个指标。它不仅在于模型能力，也在于模型跟人交互的方式——比如模型觉得这一步需要问人了，它会来问人；权限卡住了，它也知道需要来问人，而不是绕过这个东西去做别的事情。还有它说出来的话是不是人话。你觉得这个事情重要吗？你会怎么做这个事情？
陈文虎：这事情非常重要，这是另外一个维度，所谓的usability。我作为一个用户，如果这个模型非常厉害，最后输出的东西非常专业，但我完全看不懂，那这个东西对我来说就没有信息增量。我用Claude有时候就会这样：这个代码库我本来就看得不是很懂，你帮我做完以后，最后弄了一堆专业术语，我也不知道你做的是对还是错。所以模型做完以后，得有一个比较好的呈现，让我能理解你在做什么。这东西挺重要的。
行为也很重要，比如模型什么时候应该做事、什么时候应该请求许可、怎么消除歧义。我觉得这类东西的研究，主要是通过跟产品接触来做的。你把东西上线变成产品，从产品里面得到很多用户飞轮数据，再从里面挖信号去训练模型。你也可以在产品里面做很多评测，但它不是那种很通用的评测，不是发布出去以后，所有人都能按同一种设置去测的那种。
对于自家的产品，你可以做非常定制化的东西。比如用户在某个地方，模型请求许可了，但其实它不应该请求许可，那你就把这个样本拿出来，回放一下。之后的模型再来到这个地方时，看看它还会不会请求许可。这种东西非常依赖你的harness和环境，不太具有所谓普适性。你把它转换成一个开源的东西去跟踪，我觉得还是比较困难。但在前沿实验室里面，它肯定是可以跟踪的，而且跟踪得还算比较准。
ZF：用户有一些动作能表现出他不满意，比如关掉、停止、打断之类的，这些是不是也可以变成评测的信号？
陈文虎：对，这就是所谓的A/B测试、用户情绪分析。用户怎么用、在哪里停下来、在哪里打断，其实都能说明一些问题。只要产品里有用户，这些行为就会变成反馈，之后就可以从里面挖信号。
ZF：另一部分，安全和对齐（alignment）最近也经常被讨论，比如模型在RL训练的时候逃出沙箱、入侵了什么东西。对于安全Benchmark、监管，以及对齐Benchmark，也就是价值观和人是否对齐这些事情，你觉得各家会有一个标准化流程吗？还是更多逐案研究？
陈文虎：安全也好、对齐也好，有一些相对比较客观的要求，比如不能造生物武器、不能去欺凌用户之类的。这些会有一些很通用的Benchmark，大家可以去测。我的理解是，这种通用Benchmark得分会非常高，因为它比较通用，模型很快就能学会。
真正难的是非常微妙的边界案例：在某些语境下面，一个东西它就不是一个安全问题。比如我作为某个病的患者，看不起这个病，想自己制造一个药，就去问这个模型。但按照模型的准则，它不给这样的东西；可对于这个案例来说，这个人就是没有办法，你不给他造这个药，他可能就死掉了，因为他没有钱去看病。那有没有可能在这个情况下，它就不应该触发一个安全的限制？有非常多这样的边界案例要处理，我觉得很多时候就看这个公司本身的倾向和准则。
现在各家都有很多安全Benchmark，但这些Benchmark更像是一个必须通过的底线，而不是一个需要不断往上爬的分数。总的来说，安全的Benchmark其实非常多。你去看每一个system card，他们都有30、40、50个这样的Benchmark，比如生物武器Benchmark、礼貌Benchmark，非常多。大部分模型报出来的时候，在上面的得分都是九十多。它很难成为一个让你去hill climb的东西，因为它很容易就饱和。它更多像你提交代码改动时触发的一些测试：所有提交的改动都得过一遍这些东西，预期你都得通过。它就是一个很基础的东西。我觉得大部分公司其实已经有这些东西就位了。更多的难点还是在于怎么处理那些非常微妙的案例，怎么处理那些比较细节的东西。
ZF：最后一个问题。你是否同意，整个模型的发展、AI的发展，很大程度上是被Benchmark驱动的？Benchmark现在越来越困难，不仅成本高，很多东西也难以获得。那会不会有一个拐点，当我们无法做评测、没有观测指标的时候，提升就变得不那么容易了？
陈文虎：这是个好问题。我总体上不同意AI的进步是被Benchmark驱动的。这个问题要看你是拉远了看，还是拉近了看。如果说到实现层面、实操层面，一个实验室怎么训练模型，这个循环确实是被Benchmark驱动的，这没有问题。但更宏观地看AI的整个发展进程，大部分时候模型那些能力的跃迁，其实不是被Benchmark驱动的，它们一直都是被经济价值驱动的。
最简单的例子是GPT-4V和Claude Code。GPT-4V出来，并不是为了刷任何Benchmark的高分，它在那些Benchmark上面也没有特别高的提升；Claude Code出来，也不会说比Claude本身在某个Benchmark上有很大的提升。你让它去测Terminal-Bench，或者这个评测、那个评测，它未必比用一个最简单的harness去测高很多，但它却成了AI发展的一个里程碑。你仔细看这两个东西，它们的存在是因为有很大的经济价值：GPT-4V可以处理很多之前处理不了、需要视觉的案例；Claude Code帮人写代码、加快开发周期，以至于现在大家让它去做很多RSI的任务。
ZF：那有没有可能，最前沿研发这些模型的人，其实已经想到了方向，比如2023年就想到要做编程、2024年就想到要做研究。因为他们先想到、先做出来了，外面的人才知道原来可以做这个，然后才去建Benchmark。这可能只是一个时间错位，而不是泛化能力的问题。
陈文虎：对，我觉得你说的很有道理。Claude Code在发布之前，你觉得它内部没有Benchmark吗？我觉得是有的，但可能没有那么完备，可能是一些所谓可用性的指标在跟踪。总体上，大家是先把这个东西变成一个产品，大家看到它的价值，再去建Benchmark，让大家去上面hill climb。
其实很多时候，模型的研发是早于Benchmark的。更多是模型做出演示以后，大家发现这些东西带来很大的经济潜力，才意识到这是下一个frontier，“我们来为它建Benchmark吧”。公司也好、学术界也好，会从这里面提取出相对干净的信号，把它变成Benchmark；这个Benchmark又会被实验室采用。如果实验室觉得它刚好和演示出来的场景比较像，下一个循环就会把这个Benchmark作为一个信号去驱动研发。我觉得更像是这样一个关系。
尤其是像可用性这种东西——好不好用、符不符合用户的习惯、能不能让用户用起来开心——模型一直在进步，但其实没有什么很通用的Benchmark去测。更多是在产品飞轮上面造很多评测，模型也在提升。所以在这个层面上，很多时候已经不是在做benchmark maxing（刷榜）了。
ZF：所以对于一些不太好做Benchmark的东西，只要它在经济上是成立的，它就一定会有用户，也就会有反馈。甚至是做研究的测评，也能不以模型量化指标高低，而是看研究员使用以后，认可它的概率有多大。
陈文虎：对，是这样。有用户，就会有反馈；有反馈，你就可以做A/B测试，就可以解读出信号，就可以hill climb。它不需要一个像MMMU或者MMLU-Pro这样的东西去驱动它的进度。你说的研究测评也可以，这其实也是一种Benchmarking，只不过它更复杂。
请注意，此次访谈内容已经过精心编辑，并得到了陈文虎的认可。我们也欢迎读者通过留言互动，分享您对本访谈的看法。
本期访谈 Host Lu Lu，Z Potentials 主理人，硅谷大模型战略研究；飞行 Host 柴文浩，普林斯顿大学计算机科学博士生，谷歌 DeepMind Student Researcher。
Z Finance 将继续提供更多关于人工智能、全球化市场、机器人技术等领域的创业者访谈。我们诚邀对未来充满憧憬的您加入我们的社群，与我们共同分享、学习、成长。
