先说一个场景。你是一篇论文的作者,凌晨两点打开评审意见,看到这样一条: “这篇论文的可复现性有限,因为只在 Gopher 模型上做了测试,而这个模型既不开放 API 也不开放权重。” 你心里一沉,因为你们明明用的是 OPT-6B,而且附录里专门写了复现步骤。你去 rebuttal 里解释,评审可能不看,AC 大概也不会重读全文来核对你和评审谁说得对。这条错误就这么留在那里,影响最终决定。
这不是孤例。论文的规模这几年是爆炸式增长的,评审的人力却基本没涨。更麻烦的是,越来越多的评审意见本身就是 AI 写的。人类写的、AI 写的评论,都会出现“把论文说成它没有说过的样子”的情况。这种错误误导作者,扭曲决策,而按现在的体量,靠人一条条去核对已经不可能了。
Lehigh 大学、UBC 和 Vector Institute 的研究团队决定把“核对一条评审意见是否属实”单独当成一个任务来研究。他们的出发点很朴素:一条评论值得读,前提是它对论文的描述是真的。
但真正有意思的地方在于,他们发现了一个几乎所有人都忽略的错位:理解一条评论在说什么,和核对它是否属实,是两件成本完全不同的工作,而现有系统一直把它们捆在一起做。
读论文这件事,到底贵在哪
先看任务的形状。给定一篇论文 D 和从某份评审里取出的一条评论 c,系统要输出一个 0 到 1 之间的分数,分数越低,说明这条评论越可能包含事实性错误。
评审事实性错误*:指的是评论说了某些论文并不支持的话。它和“这个意见重不重要”的判断题无关,只关心“论文里到底有没有这个事实”。
这套研究把错误分成四类,沿用 ReviewCritique 的定义:误解了论文在做什么、说论文缺少它明明有的东西(Neglect)、断言论文里根本没有依据的内容、以及不准确地概括了论文。判断层面的错误,比如觉得某个问题不重要,被明确排除在任务之外。
这里有个很关键的观察,也是整篇论文的成本逻辑的起点。
一篇论文的中位数长度,在 NLP 领域是 8.5k token,机器学习 9.1k,自然科学 14.4k。而一条评论的中位数只有 17、48、70 个词。也就是说,一条评论和它所指的论文,体量差了几百倍。
如果让一个前沿大模型对每条评论独立判断,它每核对一条评论就要重新读一遍论文。一篇论文通常有十几条评论,一份评审又有好几段。这个成本会随着评审数量线性甚至超线性放大,几十万份评审下来,账单不可想象。
那换成便宜的模型行不行?这里有个专门的模型品类值得说清楚。
决策模型*:不生成文本,只回答“某个陈述在某段文本里是否成立”,返回一个概率。典型响应时间不到一秒,成本几乎可以忽略。论文里主要用的是 Jev。
问题来了,直接拿 Jev 去核对整条评论,在 NLP 数据上它的 AUROC 只有 49.9,基本等于抛硬币。为什么?因为一条评审意见往往混了好几个断言,而且很多是隐含的。
举个例子,“作者难道没有测试其他模型吗”这个问句,本身就预设了“论文没有测试其他模型”。这个预设藏在语气里,一个只做单句判定的模型根本抓不到。加上“最弱前提决定整体”这种逻辑,单条长评论对决策模型来说就是个灾难。
这就引出了论文的核心洞察,我喜欢把它称为一次漂亮的成本拆解:
理解一条评论在断言什么,需要一个强的语言模型,但不需要它读论文。读论文才是昂贵的那一半,而一旦断言被写成明确的句子,便宜的决策模型就能干这活。
不拆开会怎样?两种失败摆在眼前。用强模型,准确率可以,但每条评论都要重读全文,成本按论文长度乘以评论数爆炸。用弱模型,成本几乎为零,但在整条评论上退化成随机猜测。夹在中间的级联方案,把可疑的评论挑出来交给强模型,听起来不错,可是级联依然要把大量评论和它们的论文送给昂贵模型,而且实测下来,它花了参考方案大约四分之三的钱,准确率却在三个子集上全都输给 PremiseCheck。花了更多钱,效果更差,这是最难受的一种设计。
换个说法你就明白了。这好比你要核对一份快递单上的信息是否和仓库里的实物一致。
如果每核对一栏就让仓库管理员亲自跑一趟货架,那核对十栏就跑十趟,一趟都不能省。如果只让一个不懂业务的小工对着照片看一眼,他连“客户说的缺货”到底指哪一件都分不清。聪明的做法是:先让懂行的人把这张单子翻译成几条明确的检查项,比如“型号是否为 A”“数量是否为 12”,然后让小工拿着这份清单一次性进仓库,一趟把全查完。PremiseCheck 做的就是这件事。
四步流水线:拆、分流、核对、取最低
整个框架分四步,而且只有第一步用到通用大模型,并且它在第一步里从头到尾都没见过论文。
第一步是拆解。语言模型把一条评论重构成一个论证结构,给出结论和若干条前提,每条前提是一句自足的可判断真假的陈述句,数量在 1 到 6 条之间。提示词明确要求它同时挖出显式和隐式的断言,包括问句背后预设了什么,也明确禁止它添加评审没说过的内容。
这里有个我认为相当精妙的设计细节。语言模型写前提时会要求“说‘论文’”,也就是把指代写死。
为什么要这么较真?因为评审在评论里说“这里”或者“它”,指代对象可能在前文里是另一篇论文。附录里有一个真实的反例:一条正确的评论描述的是另一篇论文里的表征相似性分析和线性映射,拆解器机械地把“论文”改写成“the paper”,于是两条前提在字面上都不成立,Jev 给出 0.03 的低分,系统误报了。这一步的失败模式,恰好暴露了整个方法的软肋。
第二步是分流。不是所有前提都该拿去和论文比对。
有些前提是关于论文的,比如“论文没有报告数据集 X 上的结果”。但另一些依赖的是通用知识,比如“方法 Y 是这个任务的标准基线”。如果你问“根据这篇论文,方法 Y 是不是标准基线”,那答案大概率是否定的,因为论文本身没必要陈述这种领域常识。这会把一条本来正确的前提错误地压低。
所以系统先做一次轻量的路由,只把前提本身(不带论文)交给决策模型,估计它能不依赖外部知识、只看论文就判定真假的概率,超过 0.5 就走论文路线,否则走知识路线。
这一步值不值得做?有实测。在机器学习的共同前提集上,跳过路由会让 AUROC 从 61.8 掉到 58.8,整整 3 个点。有趣的是,路由怎么分并不需要那么精确,用另一个模型 Kev-27B 来路由,它和 Jev 的分歧率高达 65.2%,但最终 AUROC 完全一样。方向对了就行,具体走哪条路差一点没关系。
第三步是核对。决策模型读论文和前提,按路线回答对应的问题。走论文路线时问“这个命题根据论文是否成立”,走知识路线时问“这个命题是否成立”。
这里有第二个我很欣赏的工程巧思。因为 Jev 只按输入计费,不按输出计费,所以系统可以在一次调用里同时问 16 种不同措辞的问题,然后取平均。
这 16 种措辞里,8 种问的是“论文支持这个命题吗”,另外 8 种问的是“论文包含与这个命题矛盾的信息吗”,后者的概率取反。数据显示,只用 4 种措辞时 AUROC 就开始趋于平稳,而用满 16 种,AUROC 从 63.1 涨到 65.7,是个显著增益。增益主要来自那些反向提问,原因很实在:正向问“论文支持吗”会惩罚论文里根本没提到的东西,而反向问“论文矛盾吗”就避开了这个坑。在自然科学数据集上,把支持式提问换成矛盾式提问,AUROC 从 63.3 直接跳到 67.5。
第四步是聚合。一条评论只要依赖了任何一个错误前提,它就包含事实性错误,所以整条评论的分数取所有前提里的最低分。
为什么不用平均分?实测平均会掉到 59.4,最低分是 61.8。这里有个耐人寻味的取舍:如果标签里也把“判断层面的错误”算进来,平均分反而略好,是 54.7 对 53.3。也就是说,取最低分是为“事实正确性”这个单一目标刻意做的锐化,它让系统更锋利,也更偏科。这条分野在后面的错误分析里会反复出现。
还有件事得说清楚,那就是错误会怎么冒出来。一条正确评论平均有 3.3 条前提,只要其中一条被误判,整条评论就被拉成“错误”。这不只是理论担忧。把 Jev 换成专门做事实核查的 MiniCheck-7B 后,性能从 63.0 掉到 54.0。原因很具体:在不涉及“缺失”的前提里,MiniCheck-7B 有 25.5% 给出低于 0.3 的概率,而 Jev 只有 11.2%。
这个聚合规则像什么?像你出门前的检查清单。
如果清单上的每一项都要打勾才算过关,那么只要有一项没打勾,你就不能走。这很安全,但如果清单本身写错了一项,你会白等一整天。取最低分就是这个逻辑:它保证不会漏掉真正的错误,代价是它对拆解环节的任何失误都毫无抵抗力。而实测数据也确实显示,NLP 数据上的误报有 58% 来自拆解环节,也就是说问题大多出在清单写错了,检查这一环反而基本没事。
跑出来的结果,比想象的更离谱
主实验是在三个领域的评论上,每条评论单独核查。参考基线是中等推理强度下的 GPT-5.5 整体判断,AUROC 在 NLP 上是 63.2,机器学习 66.9,自然科学 67.8。
中等推理拆解器下,PremiseCheck 在三个领域的 AUROC 分别是 63.0、68.7、67.5,波动都在 0.3 以内或者更高,成本只有参考的 51.2%、46.6%、47.4%。论文用事先定好的 –3 分容差判定非劣效,NLP 上满足,另外两个领域差异不显著。
推理强度调低的版本更有意思。NLP 上 AUROC 反而到了 64.1,超过参考,成本只有 34.3%。完全不推理的版本是 63.1,成本 24.6%,延迟 45%。
拿掉拆解器的推理能力,为什么反而更好?因为拆解这件事本身不需要推理。它只是把一条评论重写清楚,难度不在推理而在忠实。这个发现直接对撞了当下主流的“测试时扩展”思路:大家都在往推理能力上加算力,这篇论文却说,这条流水线的瓶颈根本不在推理。
看成本拆解图会更直观。整体判断时,推理 token 占了 GPT-5.5 单次调用成本的约一半。而拆解器这一侧,如果把推理关掉,成本从 0.96 美分降到 0.39 美分,而准确率几乎没损失。至于 Jev,它每次核对只要 0.0015 美分,在所有版本里都是这个数。
还有一点值得注意,论文长度对相对成本的影响方向。学术直觉会告诉你,论文越长,省钱越多,这确实成立,但幅度很小:最短三分之一论文的相对成本是 53.3%,最长三分之一是 48.5%。因为只有 Jev 会读全文,而它便宜到几乎不构成成本项,真正花钱的是拆解器读的那条短评论。
这里可以做个反事实。假如系统是让语言模型去逐条核对前提,成本会怎样?答案是暴涨。在同样的前提下,用 GPT-5.5 当核对器,整个流水线的成本是整体判断的 3.1 倍,而准确率一点都不比 Jev 高,62.7 对 63.0。花三倍的钱买不到一个点的提升,这就是“该省的地方省了反而不行、不该省的地方省了也没损失”的典型错配。
换个说法。这就像请一位资深编辑来给一份稿子做校对。
如果你让他读完全部参考资料,再逐句核对,那他每一句的核对都要重读一遍资料。但真正需要这位资深编辑的,是判断“作者这句话到底想说什么”,是理解意图这一步。至于“资料里到底写没写这个数字”,一个刚入职的实习生翻一遍就够了,而且翻得一样准。PremiseCheck 就是把资深编辑和实习生各自放在他们真正不可替代的位置上。
这份准确度不是某一个模型撑起来的
论文特别强调了一点:效果来自分工,而不是某个特定的模型。
作为核对器,四个不同来源的模型都基本追平了整体的 GPT-5.5,包括开源的 Kev-27B。作为拆解器,更便宜的模型也能干,比如 GPT-5.6 Sol、GPT-5.6 Luna,甚至 Nemotron Super 3,在 Kev-27B 当核对器时,它们达到非劣效,成本只有各自整体判断的 6% 到 17%。
不过这里有个分水岭。拆解器弱到一定程度就撑不住了,会掉 2 到 6 个点。有意思的是,Nemotron Super 3 作为整体判断者只有 43.9,几乎不及格,但让它去拆解,AUROC 能到 65.4,涨了 21.6 个点。拆解对模型的要求,和判断对模型的要求,根本就不是一回事。
反之也成立。Jev、Kev-27B、Microsoft Decision-1、Perplexity Decider 作为整体判断者只有 50 到 57,但作为核对器都逼近了整体的 GPT-5.5。
还有一个值得单独提的能力图。研究者把 Jev 和 GPT-5.5 放到一系列原子操作上对比。核对单条前提、路由前提、判断问题在论文里有没有答案,这三项上 Jev 和 GPT-5.5 打平甚至更好,路由甚至高 0.8。但在“判断整条评论是否正确”这件事上,两个模型都接近抛硬币。
这解释了很多东西。Jev 不是无能,它是被用错了地方。它在“核对一句明确断言”上是专家,在“理解一整段话在说什么”上是废柴。把这两件事分开,正好是这篇论文做的事。
它解决了什么,没解决什么
有两个应用场景。第一个是评审还在写的时候,逐条即时核查,这是主实验的设定。第二个是评审写完之后,AC 或作者一次性核查全部评论,这里批量处理后,批量的整体 GPT-5.5 在无推理时能到 67.8,成本只有参考的 7.7%,批量的 PremiseCheck 是 69.0,成本 20%,两者差异不显著。
但真正的甜点是把两个分数融合,也就是取百分位排名的平均。两者相关性只有 0.56,融合后达到 71.5,成本 28%,显著高于批量整体判断。原因也清楚,两个系统犯的错不太一样,一个有拆解环节的失误,另一个有推理成本带来的粗糙,平均之后彼此补救。
论文还模拟了一个更贴近真实的用法:只把最可疑的一小撮评论推给人看。
NLP 数据里只有 4.8% 的评论含事实性错误。在这 5% 最可疑的评论里,PremiseCheck 命中错误的比例是随机的两到三倍,而整体 GPT-5.5 在这件事上几乎不比随机好多少,尽管它的 AUROC 差不多。对一篇有错误的论文,让 AC 读它最可疑的三条评论,PremiseCheck 能在 40% 的论文里找到那条错误,批量整体判断只有 29%。
这个差异值得停一下。AUROC 差不多,实际找人看的效率差这么多,说明排序质量在头部和整体上根本不是一回事,而落地的价值恰恰在头部。
再看它失败的地方,这部分反而最有信息量。
三个标注者把 164 个采样失败归到具体环节。NLP 的误报有 58% 出在拆解,也就是拆解器给评论加了话、换了对象、或者用模糊的量词改变了原意。自然科学的误报有 45% 出在核对环节。而 NLP 的漏报里有 40% 是标签本身可疑,整体 GPT-5.5 在这 20 条可疑标签的评论上也有 12 条判错。
还有个必须直说的边界。这套方法只针对“事实错了”,不针对“判断错了”。如果一条评论在事实层面完全正确,只是说“这个担忧不重要”或者“这个要求 unreasonable”,系统没法处理。数据显示,在自然科学评论上,把判断层面的错误也算进去时,PremiseCheck 落后整体 GPT-5.5 达 4.4 个点。换成纯事实标签,这个差距就消失了。
为什么?因为“一条前提错了,整条就错”这个规则,对事实性错误是精确的,对判断题就不成立了。一个合理的抱怨往往建立在事实正确的基础上,用逻辑去衡量合理性,本来就量错了尺子。
还有一层,数据本身的分层很值得看。NLP 里人类评论的错误率 4.6%,AI 评论 7.4%;自然科学里人类 2.3%,AI 评论 2.9%。机器学习那部分错误率高达 21.3%,因为它只保留了论证,也就是带理由的评论。这三个数字放在一起其实说明,错误率的差异更多来自数据的筛选口径,而不是哪个人群更不靠谱。
同一个思路还能落到别处,但有个真实的软肋
论文自己列了几个方向。最大的一个是拆解环节的忠实性,既然 NLP 上的误报大多来自这里,那么一个更贴近评审原话的拆解器是下一步。第二个是判断层面的错误,需要完全不同的方法。第三个是继续测试开源的决策模型。
但真正的软肋,我读下来觉得是那个“指代”问题。附录里的那个反例太典型了:一条正确评论说的是另一篇论文的内容,拆解器把“论文”改写成“the paper”,两条前提立刻变成假的。这不是模型能力问题,而是这个任务的边界定义本身带来的,评论里的“论文”未必指被评审的那篇。
还有一个我没完全想通的地方。论文里说三个领域的提示词各不相同,机器学习版限制最多 4 条前提,自然科学版要求标注每条前提的类型,只有论文型前提会被核对。这种按领域定制提示词的做法,效果确实明显,机器学习版把 AUROC 从 60.8 拉到 68.7。但我好奇的是,如果哪天来了一篇横跨物理和 NLP 的论文,该用哪一版提示词?
写在最后
读完这篇论文,我脑子里一直绕着一个画面。
一个已经累到不行的 AC,面前摊着三篇论文和九份评审,还有二十条可疑评论等着他核对。过去他只能凭印象,或者干脆跳过。现在系统把最可疑的三条评论挑出来,每一条下面都附上那句被论文驳倒的具体前提,以及它被判为假的概率。
他不再需要重读论文,只需要看一眼那句话,然后决定这个评审到底有没有读懂这篇论文。
这件事的价值不在于省了多少 API 费用。省下来的是人的注意力,是那种被分配在真正需要判断的地方的注意力。而一个系统如果只会说“这条评论有问题”,却说不清问题在哪,那它其实没有减轻任何负担。
Q&A
Q1:PremiseCheck 是什么?
A1:PremiseCheck 是 Lehigh 大学等机构提出的审稿评论事实核查框架。它让大模型把评论拆成若干条明确前提,再由廉价决策模型逐条对照论文,取最低分作为评论总分,成本约为 GPT-5.5 的一半。
Q2:PremiseCheck 为什么比直接用 GPT-5.5 便宜?
A2:因为它把贵和便宜的部分拆开了。理解评论说什么需要大模型但不需读论文,读论文才是贵的那半,而一旦断言写明确,便宜的决策模型就能做,所以推理一关掉成本能降到四分之一。
Q3:PremiseCheck 有什么局限?
A3:它只查事实错误,不判断评论是否合理。NLP 上 58% 的误报来自拆解器加话或改指代,而且一条前提错整条就判错,对拆解环节的失误毫无抵抗力。







