Token导航 LogoToken导航

AI 资讯 · 科技行者

AI裁判依赖参考答案 缺失来源即判错

更新 2026-11-16科技行者正文 8014字阅读约 26分钟

先说一个实验结果,听起来有点荒谬。

研究者拿一个正确的车辆编号,让四个AI裁判去判断它对不对。这个编号明明是对的,来源也查得到,就藏在前面某次工具调用返回的结果里。结果呢,四个裁判全部判它错。

**不是编号错了,是裁判没看到编号的来源,于是就认定它是错的。**

这件事听起来有点反常识。我们一般觉得,AI模型只要够聪明、够大,就应该能自己推理出正确答案,不需要手把手喂答案。但这篇论文做的一系列实验告诉你:至少在检查工具调用参数这件事上,AI裁判并不是在"推理",它更像是在"对答案"。如果它面前没有一份写明"标准答案是什么"的参考材料,它大概率会判错,哪怕真正的答案就摆在它能看到的文字里,只是没有被明确标注出来。

这篇论文的名字叫《Judges Follow the Reference: The Derivation Gap in Verifying Tool-Call Arguments》,来自The Fin AI、耶鲁大学和卡迪夫大学的研究团队。他们研究的是一个越来越重要却容易被忽视的问题:当AI智能体去调用各种工具完成任务时,谁来检查它调用参数填对了没有?

AI智能体*:一种能够自主采取行动的AI系统,它不只是回答问题,还能调用各种外部工具(比如订酒店、查天气、发邮件)来完成任务。

工具调用*:AI智能体向某个外部功能发出的请求,比如调用"订酒店"这个功能,并填入具体的参数,像是酒店名字、入住日期等。

要理解这篇论文的分量,得先明白为什么"检查工具调用"这件事突然变得重要。现在的AI智能体已经不只是聊天了,它们在真实世界里订机票、查股票、改日程。一旦参数填错,订错酒店、查错财报年份,后果是真实的。所以行业里出现了专门的"裁判"模型,它们的工作就是在智能体提交调用之前,先审一遍这些参数填得对不对。

问题是,这些裁判真的可靠吗?

一个简单却被忽略的事实:正确答案有很多种来路

先想一个问题:当你填一个表单参数的时候,这个正确值是怎么来的?

有时候是用户直接告诉你的,文字明摆在那里,照抄就行。有时候是从之前某一步操作返回的结果里翻出来的,比如你先搜索了一个车辆列表,然后从列表里挑出某辆车的编号去查详情,这个编号的"出处"要往前翻好几步才能找到。有时候压根没人提过这个参数,但功能说明书里写了默认值,不填就按默认值来。还有时候,需要把"周三"和"2024-03-13"这种不同格式的表达对应起来,或者需要推理出一个值,而不是照抄。

研究者把这些不同的"来路"叫作**衍生路径**。

衍生路径*:一个参数值从哪里、通过什么方式得到的,论文把它分成五种:在对话里直接可见、藏在历史记录里但被截断了、需要格式转换才能对上、是功能说明书里的默认值、或者完全没有任何来源可查。

这五种路径里,只有第一种"直接可见"是裁判能轻松核实的。剩下四种,裁判手头的材料要么没有、要么被砍掉了、要么本来就不该指望能在文字里找到现成答案。

这就带来了论文的核心发现。研究者测试了七个不同的裁判模型,包括两个专门打分的"系统一"模型(CLM和Jev)和五个开源大语言模型(从Qwen3的4B版本到27B版本,还有Llama和Mistral)。他们统一测量一件事:在三个基准测试上,裁判接受一个正确答案的比例,在"直接可见"路径和其他四种路径之间差多少。

系统一模型*:一种只输出一个概率分数、不输出文字解释的打分模型,类似人脑中负责快速直觉判断的系统,区别于会"思考"再回答的大语言模型。

结果让人意外。在两个多步骤的基准测试上(ComplexFuncBench和FinTrace),这个差距普遍在22到36个百分点之间,所有七个裁判无一幸免。换句话说,如果一个正确答案不是"明摆在眼前"的那种,裁判拒绝接受它的概率会大幅上升,哪怕答案本身完全正确。

更让人困惑的是第三个基准测试FC-RewardBench。这个测试的特殊之处在于,它完全没有截断任何文字,所有信息都完整地摆在裁判面前,连默认值都写在功能说明书里,裁判一眼就能看到。按理说,这种情况下裁判应该表现得最好。

结果恰恰相反。在这个"什么都没藏起来"的测试里,**默认值路径的差距反而是最大的,在14到50个百分点之间**。

这个反转很关键。它说明问题根本不是"信息被藏起来了"那么简单,而是更深层的东西:哪怕信息就在眼前,如果没有一句话明确说"这就是正确答案",裁判依然倾向于不信任它。

为什么会这样:裁判在"抄答案",不是在"推理"

研究者没有止步于发现这个现象,他们设计了几个巧妙的对照实验,去搞清楚背后的原因到底是什么。

第一个实验很直接。他们构造了一批数据,把一个本该出现在用户请求里的正确值,挪到一次新增的工具调用返回结果里藏起来,同时在返回结果里塞了七个干扰项,这些干扰项的值来自完全不相关的其他样本。

他们设计了两个版本:一个版本里,正确答案在返回结果里排第二位,裁判还能看到;另一个版本里,正确答案排到最后,超出了裁判实际读取的文字范围,相当于被截断看不到了。而第一个干扰项,在两个版本里都保持可见。

如果裁判真的在"推理",那么当正确答案看不到时,它至少应该表现出"不确定",分数徘徊在模棱两可的区间。但实验结果是,**所有四个裁判的判断准确率从90%以上直接跌到了40%到49%之间,跌破了瞎猜的水平**。

更要命的是,拿那个"看得见的干扰项"单独去比较,裁判给它打的分数居然比给那个"看不见的正确答案"打的分数还高。也就是说,裁判不是陷入了犹豫不决,而是主动选择相信了眼前那个错误的值,仅仅因为它看得见。

这就好比你去问路,路边有块牌子写着"此路不通",但其实那是旧牌子,真正该走的路口藏在拐角后面没立牌子。大多数裁判式的判断不会去实地探查,它们只认牌子。如果牌子上写的是错的但立在明处,它们照样信;如果真相对的但没立牌子,它们照样不信。这不是粗心,这是整个判断机制的运作方式决定的,它天生依赖"看得见的标注",而不是主动去核实事实本身。

第二个实验换了个角度:如果把完整的历史记录全部给裁判看,不截断、不省略,问题是不是就解决了?

部分解决了,但不完全。在历史记录中能找到来源的那类参数值上,裁判的表现确实明显改善,准确率提升了11到26个百分点。但对于另一类参数值,也就是在整个历史记录里都找不到任何匹配文字的那种(比如需要推理得出的值),给再多的历史记录也没用,甚至有的裁判表现还下降了。

这说明truncation(文字被截断)确实是部分原因,但不是全部原因。就算把所有能看的都摊开给裁判看,它依然搞不定那些"没有现成文字可以对照"的正确答案。

第三个实验最直接地验证了"裁判依赖明确标注"这个猜想。研究者挑出FC-RewardBench里那些用了默认值的正确参数,专门写了一行话去提醒裁判:这个参数的默认值是什么,而且用户的问题里压根没提到跟这个参数相关的任何词。

结果是,单纯重复一下默认值这件事,帮助有限,接受率最多只提升了6个百分点。但如果换成一整段话,清楚地写出"这个值的来源是什么、为什么应该用这个值",效果立刻跳到73到88个百分点。

这组对比揭示了一件很重要的事:裁判不缺信息,它缺的是一句明确指向结论的话。信息摆在那儿和有人帮你把信息"翻译"成结论,是两码事。

第四个实验更进一步,也更让人不安。研究者故意往裁判的输入里塞一些从历史记录中摘出来的文字片段,这些片段天然就包含了被测试的那个值,无论这个值本身是对是错。结果,**在59个本该被判定为错误的参数值上,加入这些"看似佐证"的片段后,裁判给出的平均分普遍上升了14到39个百分点,部分裁判甚至直接把这些错误值判定为正确**。

这就相当于,你给法官看一份文件,文件里刚好提到了嫌疑人的名字,哪怕这个提及跟案情完全无关,法官也会倾向于认为这份文件"支持"嫌疑人有罪。裁判并不是在验证逻辑关系,它只是在做文字匹配,匹配上了就倾向于相信。

DEREF:让另一个模型先把参考答案写出来

搞清楚问题出在哪儿之后,解决方案其实变得顺理成章:既然裁判依赖明确的参考答案,那就主动给它一份参考答案。

研究者提出的方法叫**DEREF**,全称Derived Reference,意思是"推导出来的参考"。

DEREF*:论文提出的一种方法,让一个独立的模型(称为推导者)先完整阅读所有历史记录,但不看候选答案,然后写出它认为每个参数应该是什么值、这个值是从哪里来的。这份"参考答案"随后被加进裁判的输入材料里,供裁判参考。

这个设计有一个关键的细节:**负责写参考答案的模型,从头到尾都看不到那个正在被检验的候选值**。

为什么要这么设计?因为如果让同一个模型既看到候选答案又去写参考答案,这个模型很容易被候选答案"带偏",不自觉地把候选答案本身当成参考答案来写,这样一来裁判永远在跟自己的回声对话,起不到任何验证作用。

研究者专门做了对照实验来验证这一点。他们试过让推导模型"看见"候选值再写参考答案,这个变体叫DEREF-v。结果发现,DEREF-v把错误的候选值直接写成"正确答案"的概率,是看不见候选值的DEREF的六倍左右。这个差距说明,不让推导模型看到候选答案,不是一个无关紧要的细节,而是整个方法能站得住脚的关键前提。

这就好比考试阅卷,如果让出题老师先看一眼学生写的答案,再去写标准答案参考,他很容易被学生的答案牵着走,觉得"这个答案看起来也挺有道理"。只有蒙眼写标准答案,才能保证标准答案是独立、客观的,不会被任何一个具体学生的答案污染。如果不坚持这个原则,参考答案本身的公信力就崩塌了,裁判参考它也就没有意义了。

DEREF的具体流程是这样的:先用一个推导模型(论文里用的是Qwen3.8-27B)完整读一遍历史记录和功能说明书,针对当前要检查的功能,它要给每个参数写明"应该是什么值,从哪里来的";如果历史记录里压根没法确定这个值,它也要明确说出来,这句话本身就成了参考答案的一部分。这份参考答案被插入到裁判的输入材料里,放在历史记录之后、功能说明书之前。裁判本身完全不变,只是多读了这一段参考答案,然后照常打分。

回到最开始提到的那个车辆编号的例子。原本四个裁判全部判它错,因为编号的来源被截断了。加入DEREF生成的参考答案之后,参考答案里写明了"这个编号应该是657356933,来源是第二步Search_Car_Rentals返回结果里的search_results字段",**四个裁判全部转为接受这个值**,分数从0.40左右跳到了0.75以上,有的裁判甚至从0.02跳到0.98。

效果有多好:三个基准测试全线提升

光讲一个案例不够说服力,研究者在三个基准测试、四个主力裁判模型上做了系统性对比,一共12组组合。

| 评测组合 | Plain原始输入 | ProvenanceGuard | RevisEval | DEREF |

|---|---|---|---|---|

| CLM / FCRB | 72.51 | 75.17 | 83.26 | **89.59** |

| CLM / CFB | 63.41 | 69.62 | 81.78 | **85.55** |

| CLM / FinTrace | 83.36 | 84.75 | 86.07 | **89.10** |

| Jev / FCRB | 90.83 | 91.00 | 92.23 | **93.30** |

| Jev / CFB | 75.01 | 80.74 | 87.15 | **88.73** |

| Jev / FinTrace | 89.11 | 89.57 | 91.77 | **93.10** |

| Qwen3-8B / FCRB | 78.79 | 77.71 | 87.06 | **89.48** |

| Qwen3-8B / CFB | 66.79 | 64.80 | 81.75 | **83.13** |

| Qwen3-8B / FinTrace | 85.15 | 85.21 | 90.52 | **92.28** |

| Qwen3.8-27B / FCRB | 91.95 | 91.94 | 93.70 | **93.39** |

| Qwen3.8-27B / CFB | 78.92 | 88.08 | 93.54 | **95.09** |

| Qwen3.8-27B / FinTrace | 89.31 | 90.09 | 92.53 | **92.25** |

(表格中的数值是AUROC,数值越高说明裁判区分正确与错误答案的能力越强,满分是100)

ProvenanceGuard*:一种此前的方法,让模型在看到候选值之后,在历史记录中找出能够支持这个候选值的证据片段,交给裁判参考。

RevisEval*:另一种此前的方法,让模型把候选的工具调用重新修订一遍,生成一个修订版,交给裁判参考。

从这张表能看出,DEREF在12组组合里有10组都超过了此前最强的方法RevisEval,而且绝大多数差距在统计上是显著的。在三个基准测试上分别取四个裁判的平均值做比较,DEREF都显著优于RevisEval。

有意思的是另外两组反例:Qwen3.8-27B在FCRB和FinTrace上,RevisEval反而略微领先(差距0.3个百分点左右,但不显著)。这两个例外恰好都出现在同一个裁判模型上,这提示我们,方法的优劣可能跟裁判模型本身的能力水平也有关系,一个足够强的裁判在某些简单场景下,靠"修订版候选答案"这种间接提示也能表现不错。但只要换到更复杂的多步骤场景(比如CFB),DEREF的优势就会立刻拉开。

研究者还做了个很直观的对照:干脆直接给裁判看完整的历史记录,不给参考答案,会怎样?结果是,单纯给更多上下文,效果明显不如给一份明确的参考答案。在CFB测试上,三个被测试的裁判平均落后DEREF将近12个百分点。

这个对比说明一件挺反直觉的事。**我们通常以为"信息越全越好",但这个实验证明,信息的数量不等于信息的可用性**。给模型看一万字的原始材料,不如给它看一句话总结好的结论。这跟人读书其实很像,把一整本参考书甩给你,远不如有人帮你划好重点、写好摘要来得有用,哪怕书里的信息量明明更大。

研究者还试过让裁判模型"多想一会儿",也就是打开模型的思维链(chain-of-thought)功能,让它先自己推理一番再给分。结果是,哪怕打开思考模式,直接推理的裁判依然明显落后于"读了DEREF参考答案但不开启思考"的裁判,在CFB上差了将近11个百分点。

这说明DEREF带来的提升,本质上不是因为"模型想得更久",而是因为那份独立写出来的参考答案本身承载了关键信息,这些信息是裁判自己推理推不出来的。

更狠的测试:把参考答案的内容偷偷换掉

如果说前面的实验证明了"给参考答案有用",那么接下来这个实验证明的是一件更让人不安的事:**裁判对参考答案的信任,几乎是无条件的,哪怕参考答案本身是错的**。

研究者拿出一批DEREF已经正确写出答案的参数,然后做了一个很简单的操作:把参考答案里的那个正确值,替换成同一个参数的另一个错误值,其他文字一个字不改。

结果在CFB和FCRB两个测试上,所有四个裁判的判断全部跟着参考答案走了。原本应该被接受的正确值,接受率下降了15到57个百分点;原本应该被拒绝的错误值,接受率反而上升了20到58个百分点。整体的判断准确率,从原本的92到99分,直接掉到42到78分之间。

论文里举了一个具体的例子:用户要求"设置一个下午5点的闹钟",正确答案应该是24小时制的17:00。原始的参考答案正确地写出了17:00,四个裁判都接受了这个正确值,拒绝了错误的15:00。但当研究者把参考答案里的17:00偷偷换成15:00,其他措辞原封不动,**四个裁判的判断全部反转**,转而接受15:00,拒绝17:00。

这个实验像极了心理学里的"权威暗示效应"。如果一个权威的标签写着某个东西是对的,大多数人即使心里有疑虑,也会倾向于相信标签。裁判模型在这里表现出的,正是对"参考答案"这个标签近乎无条件的服从。它不是在独立验证,它是在对齐一个外部给定的锚点。

这件事带来的警示很直接。如果DEREF生成的推导者本身出错了,或者有人故意在工具返回的内容里塞入误导性的文字,让推导者写出一份错误的参考答案,那么下游的裁判就会被连带误导,而且是整齐划一地被误导。这不是某个裁判偶尔犯错,而是整个判断链条被一个上游环节的失误系统性地带偏。

正因如此,论文明确指出,DEREF应该被当作辅助审核的工具,而不是替代人工审核的终极方案。对于那些影响重大的操作,比如真实的转账交易或者预订,还是应该保留人工复核的环节,或者使用不完全依赖裁判打分的独立校验机制。研究者建议,每次生成的参考答案都应该连同打分结果一起保存下来,这样如果出了问题,审核者至少能顺着这条线索,查清楚裁判当初为什么会做出那个判断。

写在后面

读完这篇论文,最让我意外的不是"裁判模型会犯错"这件事本身,机器会犯错早就不是新闻了。真正让我停下来想了很久的,是那个"参考答案藏起来vs摆在明处"的对照实验揭示的东西。它说明,我们一直以为的"AI在理解内容、在推理",很多时候可能只是"AI在做文字匹配"。这两者看起来像,其实是完全不同的两种能力。

一个真正在理解内容的系统,面对缺失信息时应该表现出犹豫,应该降低置信度。但论文里的裁判模型不是这样,它们在缺失信息时反而会倒向那个"看得见"的错误答案,态度坚决,毫不犹豫。这种"伪自信"比单纯的"不知道"要危险得多,因为它披着确定性的外衣。

还有一个细节我觉得值得单独拿出来说。研究者统计发现,在把裁判的多个参数打分综合成"整个调用对不对"的判断时,如果一次正确的工具调用里既有"明摆着对"的参数,又有"藏在历史记录里但也对"的参数,**那个被藏起来的正确参数,往往就是整次调用里得分最低的那一项,而且这个概率明显高于随机水平**。也就是说,裁判拒绝整次调用的"罪魁祸首",经常恰恰是那个本来完全正确、只是没有被明确标注的参数。这意味着在实际部署中,如果不做任何干预,系统可能会系统性地卡掉一批完全正确的操作,仅仅因为它们的正确性"不够显眼"。

这篇论文也留了一些没有填上的坑。比如在FinTrace这个金融场景的测试里,对于那些"完全没有任何来源可查"的参数值(论文叫NO-SOURCE路径),DEREF并没能明显缩小差距,四个裁判里有三个几乎没有改善。研究者推测,这可能是因为这类参数值本身正确的比例就偏低,裁判对它们保持警惕某种程度上是"合理的怀疑",只是这种怀疑的边界在哪里,这篇论文没有给出答案。

如果让我用一句话去描述这篇论文带给我的触动,大概是:我们总习惯用"模型是不是足够聪明"来评价AI系统,但这篇论文提醒我们,有时候更该问的问题是"模型是不是被给了足够清楚的参考坐标"。一个足够聪明但没有坐标的系统,照样会迷路,而且迷路的方式,可能比一个笨但老实的系统更难察觉。

Q&A

Q1:DEREF是什么,它解决了什么问题?

A:DEREF是论文提出的一种方法,让一个独立模型在不看候选答案的情况下阅读完整历史记录,写出每个参数应该是什么值及其来源,再把这份参考答案提供给裁判模型打分。它解决的是裁判模型对缺乏明确来源标注的正确答案接受率偏低的问题,在三个基准测试、四个裁判模型上均显著提升了判断准确率。

Q2:为什么AI裁判会拒绝明明正确的工具调用参数?

A:论文发现AI裁判的判断更依赖输入材料中是否有明确标注答案的参考文字,而不是真正独立推理。当正确答案的来源被截断、是默认值或需要推理得出时,裁判接受率会大幅下降,在多步骤测试中差距达到22到36个百分点,这种现象被称为衍生缺口。

Q3:给AI裁判参考答案会不会被滥用或出错?

A:会。研究发现,如果把参考答案里的正确值偷偷换成错误值,所有测试裁判的判断都会跟着反转,正确值的接受率下降15到57个百分点。因此论文建议DEREF应作为辅助审核工具,高风险操作仍需人工复核,并建议保留每次生成的参考答案以便事后追溯。

文章标签学术研究

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。