你有没有想过这样一个问题：如果一个学生做完了十份同样的作业，答案彼此不一样，你会相信哪一份？
大多数人的直觉是，相信多数人的答案。三个人写了120万，两个人写了100万，那就信120万。这个直觉背后是一个古老的信念，叫"群体智慧"，人多的那边更可能是对的。
但谷歌云AI研究团队和剑桥大学的研究者们做了一组实验，结果让这个直觉碎了一地。他们找来Claude Opus 4.8这个顶级模型,让它针对同一堂复杂任务跑十次,然后统计所有"大家都写得一样"的答案里,有多少是错的。
答案是34%。
也就是说,每三份"全票通过"的共识答案里,就有一份是错的。而在那些"大家吵得不可开交"的分歧答案里，74%的情况下,正确答案就藏在分歧的候选项之中,只是"最多人选的那个"只有47%的概率是对的。
这组数字的意思是,人多不一定对,人少不一定错。而这正是这篇论文,VeriHarness，想要解决的核心问题。
**核心问题:谁来检查AI写的报告?**
现在的AI智能体已经能干很多复杂活儿了,写财务报告、填Excel表格、改代码补丁、整理法律文书。这些任务有一个共同点,叫长周期任务（long-horizon task）：需要连续执行很多步骤，中间穿插大量文件读取、数据计算和逻辑判断,一个任务里面可能藏着几十个需要验证的小结论。
问题是,谁来检查AI做得对不对?
在编程和数学领域,这个问题相对好解决。代码能跑单元测试,数学题能用公式验证,错了一下就能抓出来。但报告、表格这类"软性"任务不一样,检查一份财务报告可能需要翻查多个源文件，重新计算一遍数字,还要搞懂业务术语的具体含义。没有程序能"跑一下"就知道对不对。
更麻烦的是,现在最强的AI模型,本身已经是最强的了。想找一个更厉害的"老师"模型来批改它的作业,这个老师根本不存在。你只能让它自己检查自己。
这就带来了一个很现实的难题：同一个模型,一边是写作业的学生,一边又要当批改作业的老师,它真的能发现自己的错误吗?
这篇论文给出的答案是,能,但不能靠"读一遍再打分"这种简单粗暴的方式,得给它配一套完整的"调查工具箱"。
**disagreement is signal, consensus can lie**
这篇论文最核心的发现,浓缩成一句话就是：分歧暴露线索,共识掩盖错误。
这个发现听起来有点反直觉。我们平时做决策,总觉得"大家都这么说,肯定没错"。但对AI生成的内容来说,这个逻辑恰恰反了。
想象你带十个会计去审一张财务报表,如果这十个人全都把某个数字算错成了同一个值,那说明什么?很可能是他们都用了同一份过时的原始数据,或者都对同一条模糊的规则做出了同样的误读。错误是系统性的,不是随机的。而如果这十个会计中有人算出100万,有人算出120万,这个分歧本身恰恰说明,至少有一个人去查了不一样的数据源,这个分歧提供了一条"值得去查"的线索。
论文里举的例子特别直观：三份报告在说FY2025年的收入,两份引用了草稿文件,写了1亿;第三份引用了最终报告,写了1.2亿。三份报告都标注货币单位是美元。
表面上看,货币单位这件事三份都一致,好像没问题。但如果去查源文件的元数据,会发现正确的货币单位其实是欧元,不是美元。所有rollout（指模型针对同一个任务独立跑出的一次完整执行结果,包含生成的文件、过程记录等）都在一个它们没意识到要去检查的地方,犯了同一个错。
这就是VeriHarness要解决的两类问题：分歧的claim（指文章里对某个数值、某种解读或某项要求是否被满足所做出的断言,比如"收入是1亿美元"就是一条claim）要去查证据来裁决,而共识的claim要主动去想"这个大家都没质疑的说法,会不会错在哪里"。
这里有一个特别值得琢磨的类比。假设你是一个新闻编辑部的主编,收到了三份记者写的同一个事件的报道。如果三份报道里有一个细节说法不一样,比如事发时间,你会立刻警觉,派人去核实到底哪个对,这是一个明确的待查项。但如果三份报道里有一个共同的事实性错误,比如三个记者都把某个官员的职位写错了,因为他们都抄了同一份错误的新闻稿,这种错误反而最难被发现,因为没有任何内部矛盾提示你去查。如果编辑部只做"交叉核对三份稿子哪里不一样"这件事,这类共识性错误永远不会被抓出来。你必须主动去问"这个大家都认同的说法,是不是基于了同一个错误的信息源",这需要完全不同的检查动作。
**VeriHarness的解法:给AI配两个侦探**
搞清楚了问题,VeriHarness给出的解决方案是,给验证用的AI配一个完整的"工作台",而不是让它凭空判断。
论文把这个验证工具箱定义成四个部分：工作空间（workspace，指验证者能访问的所有文件,包括候选答案、任务原始数据和执行记录）、证据工具（evidence tools，指验证者用来实际查证据的手段,比如读取文件、重新计算、执行代码）、验证协议（verification protocol，指整个检查流程该怎么走,谁先查什么、最后怎么汇总）、技能库（skill library，指一套可复用的"检查套路"文本,告诉验证者该去检查什么样的常见错误）。
这四样东西凑在一起,构成了两个"侦探"角色。
第一个叫分歧解决者（disagreement resolver）。它专门去查那些答案不一致的地方,通过信息增益这个概念来判断该查哪个线索最有价值,简单说就是优先检查那个"查完之后最能排除掉错误候选项"的点。它会去翻版本历史、查文件来源、重新计算,逐步排除掉被证据否定的候选答案。
第二个叫共识挑战者（consensus challenger）。这是整个设计里最巧妙的部分,因为共识claim没有现成的"竞争对手"可以拿来对比,挑战者必须主动"编造"一个可能出错的方式,然后去验证这个猜测是不是真的。论文把它细分成三种任务：检查共识数值（比如重新算一遍总额,对一下货币单位和小数位）、检查共识解读（比如大家都认定某个条款该怎么理解,去查一下文件原文到底是不是这个意思）、检查共识遗漏（检查任务要求里有没有一条,所有候选答案都压根没提到）。
这里有个很关键的设计决定：这两个侦探是在完全独立、互不可见的两个工作环境里同时展开调查的。论文做了对照实验,把两个调查合并到同一个上下文里,结果五个benchmark（指论文用来测试方法效果的标准化评测任务集合）的平均分反而下降了0.8分。
这个设计背后的道理很朴素。想象你同时要求一个人既去找证人证词里的矛盾点,又要去怀疑所有证人都没提过的某个可能性,这两件事需要完全不同的注意力分配方式。前者是在对比已有信息里的差异,后者是在凭空想象可能被忽略的角落。如果让同一个人同时脑子里转这两个任务,他大概率会被眼前明显的矛盾点吸引走全部精力,根本没有余力去想那些"大家都没提的事"。分开思考,反而能让每一种思维模式都发挥到位。
调查完成之后,两份调查记录会被交给一个全新打开的上下文,叫裁决（adjudication）。这个全新上下文没有继承前两个侦探的对话历史,它只拿着两份证据记录和原始任务,独立做出判断：该以哪个候选答案为基础,该做哪些修改,还有哪些问题暂时没能查清楚。
**技能库:让AI的"办案经验"能攒下来**
光有工具和流程还不够,论文还做了一个更进一步的尝试：让验证技能能从失败案例里自己长出来。
skill（技能）在这里指的是一条简短的文字说明,外加可能附带的脚本,描述一种常见的出错模式和对应的检查方法。比如"检查增长率标签对应的时间区间是不是和计算公式里用到的列对得上",这就是一条典型的skill。
研究团队做了一个很干净的对照实验。他们准备了四种技能库：完全空白的、人工写好的、从空白出发自己进化出来的、从人工版本出发继续进化的。进化的方式是让验证模型去读开发集上失败的案例,结合评分反馈,自己提议改进方案,表现更好的就留下来,表现不如原来的就扔掉。
结果有点意外：从空白出发自己进化出来的技能库,在APEX-Agents这个测试集上,比人工写好的那个版本高出11个百分点。而从人工版本继续进化的那个,最终效果最好,比纯人工版本提高了6.8分,而且进化速度明显更快。
这个发现挺有意思的,等于是说,人类专家的经验是个很好的起点,但AI自己从错误里总结出来的教训,质量可能比人类专家一开始想到的更细致、更贴合实际的出错模式。论文统计了进化出来的95条检查规则,只有5条是在重复人类已经写好的检查项,48条是把一条宽泛的人类规则细化成了针对某种具体文件类型的操作流程,剩下42条是全新的检查项,专门用来填补共识挑战者原本的盲区。
这就像一个新入职的审计员,刚开始按照培训手册上的通用准则做事,但随着经手的案子越来越多,他会慢慢总结出一些手册里没写、但特别管用的"土办法",比如"凡是涉及跨年度对比的数字,先查一下两边用的是不是同一套汇率",这种经验是从真实踩过的坑里长出来的,比培训手册更贴近实战。如果不让审计员积累这种经验,只让他死守培训手册,他每次遇到相似的新坑还是会掉进去。
**实验结果:两个顶级模型,五个高难度测试集**
说了这么多设计思路,最终效果怎么样?
研究团队在五个长周期workspace benchmark（专门用来测试AI处理复杂文件型任务能力的标准化评测集）上做了测试：APEX-Agents（覆盖银行、法律、咨询场景）、Workspace-Bench Lite（文件依赖关系复杂的办公场景）、WorkBuddy Bench（代码、办公、网页任务）、SpreadsheetBench 2（企业级Excel表格任务）、JobBench（35种白领职业的综合任务）。
用的模型是Gemini 3.5 Flash和Claude Opus 4.8,两个顶级模型分别自己当自己的生成者和验证者。
下面这组数字是核心结果,用的是三次独立运行的平均分：
| 方法 | 平均分 | APEX | WSB | WorkBuddy | SB-2 | JobBench |
|---|---|---|---|---|---|---|
| Gemini 3.5 Flash 单次结果 | 47.2 | 48.1 | 56.5 | 73.2 | 27.3 | 30.9 |
| LLM-as-a-Verifier(此前最佳基线) | 49.5 | 49.8 | 60.4 | 75.3 | 30.2 | 31.9 |
| VeriHarness(仅选择) | 51.6 | **53.3** | **62.0** | **77.8** | **31.5** | **33.5** |
| VeriHarness(加修订) | **53.4** | **54.8** | **65.4** | **78.2** | **32.2** | **36.2** |
| 方法 | 平均分 | APEX | WSB | WorkBuddy | SB-2 | JobBench |
|---|---|---|---|---|---|---|
| Claude Opus 4.8 单次结果 | 49.6 | 35.8 | 60.5 | 79.0 | 30.1 | 42.8 |
| LLM-as-a-Verifier(此前最佳基线) | 51.2 | 36.7 | 62.4 | 81.7 | 30.2 | 45.0 |
| VeriHarness(仅选择) | 53.7 | **41.2** | **65.0** | **83.0** | **33.4** | **46.1** |
| VeriHarness(加修订) | **56.1** | **47.5** | **67.3** | **83.7** | **34.3** | **47.6** |
两个模型上,VeriHarness在所有五个测试集上都碾压了此前最好的方法。加上修订环节之后,相比单次结果的平均提升,Flash是6.2分,Opus是6.4分。Opus在APEX-Agents上的提升尤其夸张,从35.8分直接飙到47.5分,涨了11.7分。
更有意思的是一个拆解实验。单独只用分歧解决者,平均分能到54.3;单独只用共识挑战者,能到52.6;两个一起用,到56.1。这说明两个侦探抓的是不同类型的错误,它们的贡献是互补的,不是重复的。
研究团队还做了一个分组统计,按照pool（候选答案池,十次rollout的集合）里答案的一致程度分组。结果显示,在十份答案完全一致的"consensus pool"里,VeriHarness选出的答案只比平均分高0.6分;而在答案分歧很大的pool里,高出7.7到9.4分。这个结果再次印证了那句核心发现：真正能撬动分数的,是分歧暴露出来的信息,而不是共识本身。
**这套方法花多少钱**
既然要跑十次,还要额外跑验证流程,很自然会问,成本划不划算。
论文给出的数据是,用Flash做选择环节,每个任务成本1.44美元,只是此前最佳基线LLM-as-a-Verifier的十分之一,但提升效果是它的两倍。用Opus做选择,每个任务3.92美元,大约是基线成本的一半。加上修订环节,成本会涨到选择环节的三倍左右,但带来的提升也是整张成本收益图里最大的。
成本能压这么低的原因,是VeriHarness的调用都是在同一个工作空间里连续的增量对话,86%到91%的输入token都能走缓存,比那些每次都要重新读一遍所有候选答案的基线方法便宜得多。
Q&A
Q1：VeriHarness是什么?
A：VeriHarness是谷歌云AI研究团队和剑桥大学提出的一套AI验证框架,它让生成任务的AI模型自己充当验证者,通过给它配备工作空间、证据查询工具和可复用的检查技能,去检查自己生成的多份候选答案里哪些是对的,再据此选择或修改出最终结果。
Q2：为什么说"大家答案一样"反而可能是错的?
A：论文的实验发现,在十次独立运行结果完全一致的情况下,仍有34%的共识答案是错的,原因通常是所有运行都基于了同一份过时数据或同一种误读,错误是系统性的而非随机的,所以单纯"少数服从多数"并不可靠。
Q3：VeriHarness比起已有的LLM-as-a-Verifier方法好在哪里?
A：VeriHarness在五个长周期任务测试集和两个顶级模型上的表现都超过了LLM-as-a-Verifier,平均提升4到6个百分点以上,而且成本只有LLM-as-a-Verifier的十分之一到二分之一,因为它靠查环境证据而不是单纯让模型"读一遍打分"。
