Token导航 LogoToken导航

AI 资讯 · 圈内小八哥

大模型测试集96%泄漏跑分可信度受质疑

更新 2026-11-16圈内小八哥正文 5666字阅读约 18分钟5 张图片

文:ZZ 未至之境

📌 TL;DR:一分钟读完

▸我们在 20 套主流考卷上测试了 4 个公开的大模型基座版本,发现刚公开的百度的ERNIE-5.5-Flash-Base 能在没看过题的情况下,一字不差地默写出 96% 的 HumanEval 编程测试题、85% 的 OpenBookQA 科学测试题、80% 的 GSM8K 数学测试题,连同标准答案。

▸把能默写的题扣掉:百度ERNIE-5.5-Flash-Base的编程成绩从 100 分跌到 3.66 分,四个模型的平均分排名从第一跌到最后,腾讯混元HY变成了第一。

▸DeepSeek 和腾讯混元 Hy3 几乎默写不出题目,说明不靠背题,也能拿高分。

图片

20 套考卷的平均分:实心为扣除后分数,斜线为被扣掉的部分

我们给一个刚发布的大模型出了一道编程题。这道题来自 HumanEval,全球最常用的代码能力考卷之一,一共 164 道题。我们给它的是第 66 题。它答对了。然后,它没有停。

它接着写出了第 67 题:题面、示例、官方参考答案,一字不差。原题作者当年手滑打错的一个单词 examble(本应是 example),它也原样照抄了下来。然后是第 68 题、第 69 题、第 70 题,顺序和考卷一模一样。

这些题,我们一道都没有给过它。

图片

只给了第 66 题(左),模型接着逐字写出第 67 题的题面与官方参考答案(右),连原题拼写错误 examble 都照抄。红色高亮部分均未出现在输入中

这不是在做题,这是在默写测试集。

我们把整套考卷试了一遍:164 道题里,它能这样凭空默写出 158 道,连题带答案。

96%

没错,这个模型就是百度最近发布的 ERNIE-5.5-Flash-Base。在我们按常规方式做的标准评测里,它的 HumanEval 成绩是满分:100 分。

这不是孤例。过去一个月,我们在预训练和后训练两端都看到了同一个趋势:大模型的高分,越来越多地来自「见过考卷」,而不是能力。

要看懂这件事有多严重,只需要先花一分钟,了解大模型是怎么「上学」的。

◆ ◆ ◆

PART 01

一分钟看懂:大模型怎么「上学」

大模型的成长,大致分三步:

●预训练,像通读一座图书馆。喂给它海量的网页、书籍和代码,产出的叫 base 模型(基座模型):知识渊博,但还不太会听指令。

●后训练,像上岗培训。再专门教它听指令、写代码、操作电脑,它才成为我们平时用的聊天助手和 AI 智能体。

●跑分,就是考试。行业用一套套公开的标准考卷(benchmark,也叫测试集)给模型打分,发布会上的成绩表都来自这里。

麻烦在于:考卷是公开的。原题和答案一旦混进模型读过的书或培训材料,考试就不再是考试。

不过,「混进去」也分轻重:有的只是把题型刷熟了,有的是直接拿到了原卷。

PART 02

先分清两件事:刷榜,和背卷

「跑分注水」其实有两种,程度完全不同,常常被混为一谈。我们把它们分开:

Benchmaxxing:刷榜
Benchleaking:背卷
打个比方
考前猛刷同类题、研究出题套路
考前拿到了原卷和答案
做法
针对考卷合成相似的题、对齐答案格式、揣摩评分规则
考卷原题、标准答案、甚至隐藏的评分脚本进入了训练数据
训练时见过原题吗
没有
见过
典型证据
题目稍作改动,分数就大幅下滑
能逐字写出输入中根本没有的考题

Benchmaxxing 让分数虚高,Benchleaking 让分数失效。

我们观察到,过去一个月两者都在明显加剧。最严重的情况,出现在模型的地基:「通读图书馆」的预训练阶段。我们就从这里说起。

PART 03

预训练阶段:连考卷一起读了

开头那个默写 HumanEval 的模型,就是一个刚读完图书馆、还没参加上岗培训的 base 模型。

Base 模型是整个行业的地基。很多公司会把它公开出来,无数研究者和企业在它的基础上,再训练出自己的模型、做自己的研究,默认它是一个干净的起点。

我们测试了四个公开的 base 模型:ERNIE-5.5-Flash-Base(百度,近期刚发布)、DeepSeek-V4-Flash-Base(DeepSeek)、Hy3-preview-Base(腾讯)、MiMo-V2.5-Base(小米),覆盖知识常识、推理阅读、数学、代码、科学五大类,共 20 个主流 benchmark。

方法很简单。 照常给模型出一道题,只是答完之后不让它停下,看它接下来写了什么,再把它写出来的内容和这套考卷逐题比对。我们给它看过的题,一律不算。

开头的 HumanEval 就是这样发现的。在 MMLU 抽象代数上,情况一样:它答完第 0 题,接着写出了第 1、2、3 题,题干、四个选项和正确答案一应俱全。

图片

答完 MMLU 抽象代数第 0 题后,模型按顺序写出后面的考题和正确答案。红色高亮部分均未出现在输入中

判定标准很严格。 只有当续写内容同时、逐字复现了题干、全部选项(或上下文)和标准答案,才算一次泄漏。代码题必须和官方参考实现一字不差,换一种写法、哪怕能通过测试也不算。在这个标准下:

Benchmark
DeepSeek-V4-Flash-Base
Hy3-preview-Base
MiMo-V2.5-Base
ERNIE-5.5-Flash-Base
HumanEval(编程)
9.1%
6.7%
73.8%96.3%
OpenBookQA(科学常识)
0.0%
0.0%
0.0%
85.4%
GSM8K(数学应用题)
0.8%
5.1%
4.4%
80.1%
GPQA(研究生级科学题)
0.0%
0.0%
0.0%
34.6%
MBPP(编程)
0.0%
0.0%
0.4%
9.2%
MMLU(综合知识)
<0.1%
<0.1%
0.5%
6.9%

表中为能被模型完整默写出来(题目 + 选项 + 答案)的考题占比。20 个 benchmark 的完整结果见论文。

几个细节:

●OpenBookQA 的一次生成里,ERNIE-5.5-Flash-Base 续写了 15 道题,14 道与考卷完全一致;

●在 GSM8K 上,它默写出的不只是题目和答案,还有官方解答的每一步推导;

●小米 MiMo-V2.5-Base 的问题集中在代码,HumanEval 能默写 74%,其他科目基本干净;

●DeepSeek 和腾讯 Hy3 在所有科目上都几乎默写不出题目。

连原题作者的错别字都一起背下来,这不是理解,是测试集泄露。

但能默写,不等于分数一定注了水。这些默写出来的题,到底给分数贡献了多少?我们算了一笔账。

PART 04

把能默写的题扣掉,第一变成了最后

一道题如果模型能默写出来,它在这道题上的得分就说明不了能力。所以我们做了一件很朴素的事:把所有能被默写出来的题记为 0 分,题目总数不变,重新算分。 我们叫它 Anti-Hack 分数。

ERNIE-5.5-Flash-Base
原始分
扣除后
HumanEval
100.00
3.66
OpenBookQA
98.60
14.20
GSM8K
91.21
17.21
GPQA-Main
59.15
32.81

满分的编程考卷,扣完只剩 3.66 分。

放到 20 个 benchmark 的平均分里,四个模型的排名变成了这样:

模型
原始平均分
扣除后
变化
ERNIE-5.5-Flash-Base
85.17(第 1)
68.55(第 4)
−16.6
MiMo-V2.5-Base
80.01(第 2)
75.03(第 3)
−5.0
Hy3-preview-Base
79.86(第 3)
78.55(第 1)
−1.3
DeepSeek-V4-Flash-Base
77.95(第 4)
76.48(第 2)
−1.5

20 套考卷的平均分:实心为扣除后分数,斜线为被扣掉的部分

榜首和末位之间,隔着的只是一份测试集。

图片

六套代表性考卷:实心为扣除后分数,斜线为被扣掉的部分,黑色竖线为原始分

地基出了问题。那经过「上岗培训」、能自己动手干活的 AI 智能体,就干净吗?

PART 05

后训练阶段:模型记住了「考点」

所谓 AI 智能体,就是经过上岗培训、能自己写代码、操作电脑完成任务的模型。我们复现了近期两项针对它们的研究。

题目改一点,分数掉一截。 DeepSWE 是一套常用的编程考卷,让 AI 智能体去修改真实的软件项目。研究者把其中 89 道题在不改变核心任务下做了很小的改动,比如要求文件名改成小写,或者换一换起始代码,调整后的参考代码平均增加了仅 17 行代码,做成了一套新考卷 MaxxBench,然后看模型还能不能做对:

模型
原题通过率
改题后
下降
DeepSeek-V4.1-Flash
75.8%
62.5%
13.3 个百分点
Kimi-K3.1-Pro
83.8%
68.0%
15.8 个百分点

熟悉的题目能拿高分,换个说法就做不出来,就像一个学生只会做练习册上的原题。这是典型的刷榜迹象。

说出了从没被告知的考点。 这一条更进一步。Terminal-Bench 4.0 是另一套考卷,让 AI 智能体在电脑上完成各种实际任务。它的判分方式是:模型交卷后,由一段模型看不到的评分程序自动检查答案,就像老师手里不公开的评分细则。

其中有一道音乐题:按巴赫众赞歌的风格,为一段低音写出四声部和声。题目里没有给出任何声部的音域,也就是每个声部最高能唱多高、最低能唱多低。

我们让 Kimi-K3.1-Pro 先列出「它收到的所有要求」。它写下了女高音、女低音、男高音、男低音四个声部的音域,和那段隐藏评分程序里的数字完全一致。这些数字只存在于模型看不到的评分程序里。

这就像一个考生在答卷开头写下「本题评分标准如下」,而写出来的,正是老师锁在抽屉里的那份细则。

图片

题目(上)没有给出音域;Kimi-K3.1-Pro 列出的要求(左下)与隐藏评分程序(右下)中的四个声部音域完全一致

统计下来,正常解题时,Kimi-K3.1-Pro 在 14.3% 的任务中出现了这种「说出没被告知的考点」的情况,上一代 Kimi-K3 只有 1.6%。引导它复述指令时,两者分别是 51.5% 和 9.1%。

在「上岗培训」这一端,证据目前仍以刷榜为主,「记得隐藏考点」的线索才刚刚浮现。但把两端放在一起看,趋势已经很清楚:从刷同类题,到记住考点,再到整张考卷原封不动地进了地基,问题正在一步步加深。

那么,作为普通人,面对一张漂亮的成绩表,我们到底还能信什么?

PART 06

所以,跑分还能信吗?

同样的测试下,DeepSeek-V4-Flash-Base 和腾讯 Hy3-preview-Base 几乎默写不出任何题目,扣分后平均只掉了 1.5 和 1.3 分,依然是很强的模型。

这说明两件事:

●泄漏不是「大家都这样」,干净的训练是做得到的;

●不靠背题,也能拿到好成绩。

问题在于,单看一张成绩表,你分不出哪些分数是考出来的,哪些是默写出来的。下次看到一个漂亮的跑分,不妨先问三个问题:

1换一批没见过的题,这个分数还成立吗? 在公开考卷上接近满分、题目一改就大幅下滑,是刷榜最常见的信号。

2有没有「去污染报告」? 发布方有没有说明,怎么确认考卷没有混进训练材料,查出来的结果如何?

3评估过程是否足够透明? 出题方式、参数、每道题的原始回答有没有公开?只给一个平均分的成绩,信息量非常有限。

这三个问题,你不必只听我们说。我们测的这些模型,你自己就能验证。

PART 07

你可以自己验证

我们测试的四个模型都是公开发布的,任何人都可以下载下来亲手试。如果你会运行大模型,只需要三步:

1像平常评测一样,先给几道带答案的示范题,再出一道考卷上的题;

2关掉「答完就停」的设置,让它答完之后继续往下写;

3看它接下来写的,是不是考卷里的下一道题。

我们会公开评估脚本,文末提供链接,大家可以动手验证。

也许你会问:这和我有什么关系?

PART 08

为什么每个人都该在意

如果你是用户:发布会上「全面领先」的那张成绩表,可能有一部分是刷出来的,甚至是默写出来的。它不代表模型在你的真实任务上有多强。

如果你是研究者:base 模型是无数后续训练和方法比较的起点。起点被污染,你以为是自己的方法带来了提升,可能只是唤醒了模型的记忆。

如果你在训练大模型:我们理解竞争的压力,发布越来越快,榜单直接关系到关注度和资源。但为了短期分数让动作变形,最终透支的是整个行业对评测的信任。分数一旦不可信,所有人真实的进步都会被一起淹没。

这也是为什么,我们把它作为「ZZ · 未至之境」的第一篇文章。

PART 09

为什么我们第一篇写这个

这是「ZZ · 未至之境」的第一篇文章。

ZZ 是 Zero Zenith。Zero 是度量的零点,一把尺子被校准好的起点;Zenith 是智能的天顶,此刻能望见的最高处。我们做评估,因为我们相信:评测立在哪里,智能就会走到哪里。

在丈量巅峰之前,先要确认尺子是准的。

这一次我们发现,尺子的零点已经偏了。

所以我们呼吁:

●模型发布时附上去污染报告,说明如何确认主流考卷没有混进训练材料;

●同时报告去污染后的分数;

●评测公开完整材料:怎么出的题、用的什么参数、每道题模型原本答了什么、得了几分,而不只是一个平均分。

这是在守住 Zero。

而公开的考卷迟早会被见过、被记住、被刷满。所以领域更需要的,是新一代的评测:持续引入未公开的新题,从设计上对记忆免疫,始终立在模型能力的边界之外。这是在推高 Zenith,也是 ZZ 接下来要做的事。

严谨起见

●我们只陈述可观测的事实:模型能在输入中没有出现的情况下,逐字写出测试题和答案。测试集是如何进入训练数据的,我们无法、也不做判断。

●检测到是强证据,检测不到不代表干净。表中的 0% 只说明这次探测没有发现。

●Anti-Hack 是保守估计:能被默写的题,即使模型本来会做,也记为 0 分。它衡量的是分数对泄漏的依赖程度,不是模型真实能力的精确值。

●后训练部分的「隐藏考点」由自动评审识别,是较强的线索,但还不是像逐字默写那样的直接证据。

我们欢迎任何机构和研究者检验、质疑这些结果。如果我们错了,我们会公开更正。这本身就是严谨测量的一部分。

技术报告:https://github.com/GAIR-NLP/Benchleaking/blob/main/Benchleaking.pdf

复现代码:https://github.com/GAIR-NLP/Benchleaking

◆ ◆ ◆

今日之巅,明日之零;境未至,路不止。

Measure from Zero. Push the Zenith.从零丈量,推高巅峰。


文章标签大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。