文:ZZ 未至之境
📌 TL;DR:一分钟读完
▸我们在 20 套主流考卷上测试了 4 个公开的大模型基座版本,发现刚公开的百度的ERNIE-5.5-Flash-Base 能在没看过题的情况下,一字不差地默写出 96% 的 HumanEval 编程测试题、85% 的 OpenBookQA 科学测试题、80% 的 GSM8K 数学测试题,连同标准答案。
▸把能默写的题扣掉:百度ERNIE-5.5-Flash-Base的编程成绩从 100 分跌到 3.66 分,四个模型的平均分排名从第一跌到最后,腾讯混元HY变成了第一。
▸DeepSeek 和腾讯混元 Hy3 几乎默写不出题目,说明不靠背题,也能拿高分。

20 套考卷的平均分:实心为扣除后分数,斜线为被扣掉的部分
我们给一个刚发布的大模型出了一道编程题。这道题来自 HumanEval,全球最常用的代码能力考卷之一,一共 164 道题。我们给它的是第 66 题。它答对了。然后,它没有停。
它接着写出了第 67 题:题面、示例、官方参考答案,一字不差。原题作者当年手滑打错的一个单词 examble(本应是 example),它也原样照抄了下来。然后是第 68 题、第 69 题、第 70 题,顺序和考卷一模一样。
这些题,我们一道都没有给过它。

只给了第 66 题(左),模型接着逐字写出第 67 题的题面与官方参考答案(右),连原题拼写错误 examble 都照抄。红色高亮部分均未出现在输入中
这不是在做题,这是在默写测试集。
我们把整套考卷试了一遍:164 道题里,它能这样凭空默写出 158 道,连题带答案。
96%
没错,这个模型就是百度最近发布的 ERNIE-5.5-Flash-Base。在我们按常规方式做的标准评测里,它的 HumanEval 成绩是满分:100 分。
这不是孤例。过去一个月,我们在预训练和后训练两端都看到了同一个趋势:大模型的高分,越来越多地来自「见过考卷」,而不是能力。
要看懂这件事有多严重,只需要先花一分钟,了解大模型是怎么「上学」的。
PART 01
一分钟看懂:大模型怎么「上学」
大模型的成长,大致分三步:
●预训练,像通读一座图书馆。喂给它海量的网页、书籍和代码,产出的叫 base 模型(基座模型):知识渊博,但还不太会听指令。
●后训练,像上岗培训。再专门教它听指令、写代码、操作电脑,它才成为我们平时用的聊天助手和 AI 智能体。
●跑分,就是考试。行业用一套套公开的标准考卷(benchmark,也叫测试集)给模型打分,发布会上的成绩表都来自这里。
麻烦在于:考卷是公开的。原题和答案一旦混进模型读过的书或培训材料,考试就不再是考试。
不过,「混进去」也分轻重:有的只是把题型刷熟了,有的是直接拿到了原卷。
PART 02
先分清两件事:刷榜,和背卷
「跑分注水」其实有两种,程度完全不同,常常被混为一谈。我们把它们分开:
Benchmaxxing:刷榜 | Benchleaking:背卷 | |
|---|---|---|
打个比方 | 考前猛刷同类题、研究出题套路 | 考前拿到了原卷和答案 |
做法 | 针对考卷合成相似的题、对齐答案格式、揣摩评分规则 | 考卷原题、标准答案、甚至隐藏的评分脚本进入了训练数据 |
训练时见过原题吗 | 没有 | 见过 |
典型证据 | 题目稍作改动,分数就大幅下滑 | 能逐字写出输入中根本没有的考题 |
Benchmaxxing 让分数虚高,Benchleaking 让分数失效。
我们观察到,过去一个月两者都在明显加剧。最严重的情况,出现在模型的地基:「通读图书馆」的预训练阶段。我们就从这里说起。
PART 03
预训练阶段:连考卷一起读了
开头那个默写 HumanEval 的模型,就是一个刚读完图书馆、还没参加上岗培训的 base 模型。
Base 模型是整个行业的地基。很多公司会把它公开出来,无数研究者和企业在它的基础上,再训练出自己的模型、做自己的研究,默认它是一个干净的起点。
我们测试了四个公开的 base 模型:ERNIE-5.5-Flash-Base(百度,近期刚发布)、DeepSeek-V4-Flash-Base(DeepSeek)、Hy3-preview-Base(腾讯)、MiMo-V2.5-Base(小米),覆盖知识常识、推理阅读、数学、代码、科学五大类,共 20 个主流 benchmark。
方法很简单。 照常给模型出一道题,只是答完之后不让它停下,看它接下来写了什么,再把它写出来的内容和这套考卷逐题比对。我们给它看过的题,一律不算。
开头的 HumanEval 就是这样发现的。在 MMLU 抽象代数上,情况一样:它答完第 0 题,接着写出了第 1、2、3 题,题干、四个选项和正确答案一应俱全。

答完 MMLU 抽象代数第 0 题后,模型按顺序写出后面的考题和正确答案。红色高亮部分均未出现在输入中
判定标准很严格。 只有当续写内容同时、逐字复现了题干、全部选项(或上下文)和标准答案,才算一次泄漏。代码题必须和官方参考实现一字不差,换一种写法、哪怕能通过测试也不算。在这个标准下:
Benchmark | DeepSeek-V4-Flash-Base | Hy3-preview-Base | MiMo-V2.5-Base | ERNIE-5.5-Flash-Base |
|---|---|---|---|---|
HumanEval(编程) | 9.1% | 6.7% | 73.8% | 96.3% |
OpenBookQA(科学常识) | 0.0% | 0.0% | 0.0% | 85.4% |
GSM8K(数学应用题) | 0.8% | 5.1% | 4.4% | 80.1% |
GPQA(研究生级科学题) | 0.0% | 0.0% | 0.0% | 34.6% |
MBPP(编程) | 0.0% | 0.0% | 0.4% | 9.2% |
MMLU(综合知识) | <0.1% | <0.1% | 0.5% | 6.9% |
表中为能被模型完整默写出来(题目 + 选项 + 答案)的考题占比。20 个 benchmark 的完整结果见论文。
几个细节:
●OpenBookQA 的一次生成里,ERNIE-5.5-Flash-Base 续写了 15 道题,14 道与考卷完全一致;
●在 GSM8K 上,它默写出的不只是题目和答案,还有官方解答的每一步推导;
●小米 MiMo-V2.5-Base 的问题集中在代码,HumanEval 能默写 74%,其他科目基本干净;
●DeepSeek 和腾讯 Hy3 在所有科目上都几乎默写不出题目。
连原题作者的错别字都一起背下来,这不是理解,是测试集泄露。
但能默写,不等于分数一定注了水。这些默写出来的题,到底给分数贡献了多少?我们算了一笔账。
PART 04
把能默写的题扣掉,第一变成了最后
一道题如果模型能默写出来,它在这道题上的得分就说明不了能力。所以我们做了一件很朴素的事:把所有能被默写出来的题记为 0 分,题目总数不变,重新算分。 我们叫它 Anti-Hack 分数。
ERNIE-5.5-Flash-Base | 原始分 | 扣除后 |
|---|---|---|
HumanEval | 100.00 | 3.66 |
OpenBookQA | 98.60 | 14.20 |
GSM8K | 91.21 | 17.21 |
GPQA-Main | 59.15 | 32.81 |
满分的编程考卷,扣完只剩 3.66 分。
放到 20 个 benchmark 的平均分里,四个模型的排名变成了这样:
模型 | 原始平均分 | 扣除后 | 变化 |
|---|---|---|---|
ERNIE-5.5-Flash-Base | 85.17(第 1) | 68.55(第 4) | −16.6 |
MiMo-V2.5-Base | 80.01(第 2) | 75.03(第 3) | −5.0 |
Hy3-preview-Base | 79.86(第 3) | 78.55(第 1) | −1.3 |
DeepSeek-V4-Flash-Base | 77.95(第 4) | 76.48(第 2) | −1.5 |
20 套考卷的平均分:实心为扣除后分数,斜线为被扣掉的部分
榜首和末位之间,隔着的只是一份测试集。

六套代表性考卷:实心为扣除后分数,斜线为被扣掉的部分,黑色竖线为原始分
地基出了问题。那经过「上岗培训」、能自己动手干活的 AI 智能体,就干净吗?
PART 05
后训练阶段:模型记住了「考点」
所谓 AI 智能体,就是经过上岗培训、能自己写代码、操作电脑完成任务的模型。我们复现了近期两项针对它们的研究。
题目改一点,分数掉一截。 DeepSWE 是一套常用的编程考卷,让 AI 智能体去修改真实的软件项目。研究者把其中 89 道题在不改变核心任务下做了很小的改动,比如要求文件名改成小写,或者换一换起始代码,调整后的参考代码平均增加了仅 17 行代码,做成了一套新考卷 MaxxBench,然后看模型还能不能做对:
模型 | 原题通过率 | 改题后 | 下降 |
|---|---|---|---|
DeepSeek-V4.1-Flash | 75.8% | 62.5% | 13.3 个百分点 |
Kimi-K3.1-Pro | 83.8% | 68.0% | 15.8 个百分点 |
熟悉的题目能拿高分,换个说法就做不出来,就像一个学生只会做练习册上的原题。这是典型的刷榜迹象。
说出了从没被告知的考点。 这一条更进一步。Terminal-Bench 4.0 是另一套考卷,让 AI 智能体在电脑上完成各种实际任务。它的判分方式是:模型交卷后,由一段模型看不到的评分程序自动检查答案,就像老师手里不公开的评分细则。
其中有一道音乐题:按巴赫众赞歌的风格,为一段低音写出四声部和声。题目里没有给出任何声部的音域,也就是每个声部最高能唱多高、最低能唱多低。
我们让 Kimi-K3.1-Pro 先列出「它收到的所有要求」。它写下了女高音、女低音、男高音、男低音四个声部的音域,和那段隐藏评分程序里的数字完全一致。这些数字只存在于模型看不到的评分程序里。
这就像一个考生在答卷开头写下「本题评分标准如下」,而写出来的,正是老师锁在抽屉里的那份细则。

题目(上)没有给出音域;Kimi-K3.1-Pro 列出的要求(左下)与隐藏评分程序(右下)中的四个声部音域完全一致
统计下来,正常解题时,Kimi-K3.1-Pro 在 14.3% 的任务中出现了这种「说出没被告知的考点」的情况,上一代 Kimi-K3 只有 1.6%。引导它复述指令时,两者分别是 51.5% 和 9.1%。
在「上岗培训」这一端,证据目前仍以刷榜为主,「记得隐藏考点」的线索才刚刚浮现。但把两端放在一起看,趋势已经很清楚:从刷同类题,到记住考点,再到整张考卷原封不动地进了地基,问题正在一步步加深。
那么,作为普通人,面对一张漂亮的成绩表,我们到底还能信什么?
PART 06
所以,跑分还能信吗?
同样的测试下,DeepSeek-V4-Flash-Base 和腾讯 Hy3-preview-Base 几乎默写不出任何题目,扣分后平均只掉了 1.5 和 1.3 分,依然是很强的模型。
这说明两件事:
●泄漏不是「大家都这样」,干净的训练是做得到的;
●不靠背题,也能拿到好成绩。
问题在于,单看一张成绩表,你分不出哪些分数是考出来的,哪些是默写出来的。下次看到一个漂亮的跑分,不妨先问三个问题:
1换一批没见过的题,这个分数还成立吗? 在公开考卷上接近满分、题目一改就大幅下滑,是刷榜最常见的信号。
2有没有「去污染报告」? 发布方有没有说明,怎么确认考卷没有混进训练材料,查出来的结果如何?
3评估过程是否足够透明? 出题方式、参数、每道题的原始回答有没有公开?只给一个平均分的成绩,信息量非常有限。
这三个问题,你不必只听我们说。我们测的这些模型,你自己就能验证。
PART 07
你可以自己验证
我们测试的四个模型都是公开发布的,任何人都可以下载下来亲手试。如果你会运行大模型,只需要三步:
1像平常评测一样,先给几道带答案的示范题,再出一道考卷上的题;
2关掉「答完就停」的设置,让它答完之后继续往下写;
3看它接下来写的,是不是考卷里的下一道题。
我们会公开评估脚本,文末提供链接,大家可以动手验证。
也许你会问:这和我有什么关系?
PART 08
为什么每个人都该在意
如果你是用户:发布会上「全面领先」的那张成绩表,可能有一部分是刷出来的,甚至是默写出来的。它不代表模型在你的真实任务上有多强。
如果你是研究者:base 模型是无数后续训练和方法比较的起点。起点被污染,你以为是自己的方法带来了提升,可能只是唤醒了模型的记忆。
如果你在训练大模型:我们理解竞争的压力,发布越来越快,榜单直接关系到关注度和资源。但为了短期分数让动作变形,最终透支的是整个行业对评测的信任。分数一旦不可信,所有人真实的进步都会被一起淹没。
这也是为什么,我们把它作为「ZZ · 未至之境」的第一篇文章。
PART 09
为什么我们第一篇写这个
这是「ZZ · 未至之境」的第一篇文章。
ZZ 是 Zero Zenith。Zero 是度量的零点,一把尺子被校准好的起点;Zenith 是智能的天顶,此刻能望见的最高处。我们做评估,因为我们相信:评测立在哪里,智能就会走到哪里。
在丈量巅峰之前,先要确认尺子是准的。
这一次我们发现,尺子的零点已经偏了。
所以我们呼吁:
●模型发布时附上去污染报告,说明如何确认主流考卷没有混进训练材料;
●同时报告去污染后的分数;
●评测公开完整材料:怎么出的题、用的什么参数、每道题模型原本答了什么、得了几分,而不只是一个平均分。
这是在守住 Zero。
而公开的考卷迟早会被见过、被记住、被刷满。所以领域更需要的,是新一代的评测:持续引入未公开的新题,从设计上对记忆免疫,始终立在模型能力的边界之外。这是在推高 Zenith,也是 ZZ 接下来要做的事。
严谨起见
●我们只陈述可观测的事实:模型能在输入中没有出现的情况下,逐字写出测试题和答案。测试集是如何进入训练数据的,我们无法、也不做判断。
●检测到是强证据,检测不到不代表干净。表中的 0% 只说明这次探测没有发现。
●Anti-Hack 是保守估计:能被默写的题,即使模型本来会做,也记为 0 分。它衡量的是分数对泄漏的依赖程度,不是模型真实能力的精确值。
●后训练部分的「隐藏考点」由自动评审识别,是较强的线索,但还不是像逐字默写那样的直接证据。
我们欢迎任何机构和研究者检验、质疑这些结果。如果我们错了,我们会公开更正。这本身就是严谨测量的一部分。
技术报告:https://github.com/GAIR-NLP/Benchleaking/blob/main/Benchleaking.pdf
复现代码:https://github.com/GAIR-NLP/Benchleaking
今日之巅,明日之零;境未至,路不止。
Measure from Zero. Push the Zenith.从零丈量,推高巅峰。







