你有没有想过这样一个场景：一个学生每天自己给自己出考题，自己做，自己判卷，日复一日地训练自己。听起来挺励志对吧？但如果这个学生渐渐开始出一些根本没有标准答案的题目，比如"请问比1大又比1小的整数是多少"，然后他还硬着头皮去"解答"这种矛盾题，长期这样下去，他的数学水平会变好还是变差？
这不是一个假设，这是当下AI推理模型训练中正在真实发生的事情。
**自我进化的推理模型会在训练几轮之后突然崩溃，分数一路下滑，甚至比没训练过还差。**
这篇来自华盛顿大学圣路易斯分校等机构的论文，就是在解剖这个崩溃现象的尸体，找出了两个致命伤，并且开出了药方。
自问自答式学习：一个美好却脆弱的设想
先说说这套训练方法到底是怎么回事。
传统训练AI靠的是人类标注的海量数据，但这种数据又贵又慢，总有枯竭的一天。于是研究者想了个办法：让AI自己给自己出题，自己解题，这样就不需要人类持续投喂数据了。
具体来说，系统里有两个角色，一个叫"出题者"，一个叫"解题者"。
> **出题者和解题者**：一套自我进化框架中的两个AI角色，出题者负责生成新的数学题目，解题者负责解答这些题目，两者交替训练，彼此促进。
一开始两者共享同一个基础模型，然后像打乒乓球一样轮流升级。出题者学着出一些让解题者"半懂不懂"的题目，就是那种解题者做十次对五次左右的难度，太简单没意义，太难又学不到东西。解题者则通过多次采样找出"大多数人都认同的答案"作为伪标签，然后拿这个伪标签去训练自己。
这个框架叫R-Zero，是这个领域里相当有代表性的方法。论文作者们盯着R-Zero训练过程中产生的数据看了很久，发现了两个越来越严重的问题。
问题一：出的题越来越离谱
研究团队做了个实验，从R-Zero五轮训练各自产生的题目池里随机抽了200道题，让一个强大的外部模型（论文中称为GPT-5.6-Sol）去判断这些题到底是不是"有效题目"。
结果让人倒吸一口凉气：第一轮的有效题目率是76.5%，到了第五轮，这个数字只剩下39.5%。也就是说，超过六成的题目要么条件矛盾、要么压根没有确定答案、要么表述模糊到没法判断对错。
更糟的是，R-Zero原本设计了一道"过滤网"，用来筛选解题者多次回答"意见一致"的题目留下来训练，本意是想挑出难度适中的好题。但这道过滤网完全没想到无效题目也会让模型"稳定地给出错误答案"，于是有效率被进一步压低到27.64%。
论文里举了个很典型的例子：一道题要求x+y=3，xy=3，求x?+y?。这道题压根没有实数解（因为(x-y)?=(x+y)?-4xy=9-12=-3<0），是个彻头彻尾的无效题目。但解题模型没有被教过要去质疑题目本身，它只会硬着头皮答题，三次尝试里两次给出"x?+y?=3"这种错误答案，还有一次说"无实数解"。由于答案不一致，这道题反而被判定为"难题"而不是"坏题"，被选进了训练集。
这就好比一个老师批改作业时，发现学生在一道无解的题目上反复给出不同答案，于是得出结论"这题挺有挑战性，值得反复练习"。可事实是这题压根没法做，学生每做一次就离正确的数学直觉更远一步。**如果不教会模型识别什么是无效题目，这套自我进化系统就永远无法分辨"这道题很难"和"这道题根本是错的"这两种完全不同的情况。**
为了验证无效题目确实是罪魁祸首，研究者做了个对照实验：拿同样1273道题目，一组保持原样（其中507道是无效题），另一组把这507道无效题修复成有效题，其余766道有效题完全一致。用这两组数据各自训练一遍模型，结果修复过的那组最终平均分数达到49.91分，原始组只有46.54分，差了整整3.37分。
这个实验证明了一件事：**无效题目不是无害的噪声，它们是实打实拖累模型表现的训练毒药。**
问题二：换个马甲的同一道题
如果说无效题目是"假冒伪劣产品"，那第二个问题就更隐蔽了，可以叫它"换汤不换药"。
出题者很擅长用不同的包装生成本质上一模一样的题目。论文里给了一个特别生动的例子：同一个"寻找从A到E最短路径"的图论问题，可以被包装成"背包客穿越魔法森林，哪条路线消耗能量最少"。表面上看，词汇完全不同，场景也天差地别，但底层问的是同一件事，答案的计算逻辑丝毫没变。
R-Zero原本设计了一套防重复机制，用BLEU算法（一种衡量文本词汇相似度的指标）来判断题目之间像不像，相似度高的题目会被打包成一个"簇"，簇越大，重复惩罚就越重，以此鼓励出题者多样化。
问题在于，BLEU只能看出文字表面像不像，看不出数学本质像不像。
> **BLEU**：一种通过比较词汇重叠程度来衡量两段文本相似度的指标，最早用于机器翻译质量评估。
研究者抽取了R-Zero第五轮训练数据里的200道题，让外部模型帮忙按照"底层数学任务结构"分组，结果发现占比最大的三种题型加起来竟然占了样本的59.5%。而在R-Zero原本的BLEU分组里，这个最大的题型被硬生生拆成了22个不同的簇，因为措辞、变量命名、下标起始点（从0开始还是从1开始）稍有不同，BLEU就认为它们是不同的题目。
簇一旦被拆散，每个簇的大小就变小了，惩罚力度自然跟着变弱，于是这种"同款换皮"的题目反而能一次又一次地蒙混过关，持续出现在训练数据里。
这种现象让我想起一个生活中的例子。假设一家餐厅想统计顾客最爱点的菜，结果收银系统把"番茄炒蛋"和"西红柿炒鸡蛋"当成两道不同的菜来统计，因为名字不一样。表面上看菜单丰富多样，谁都点不同的菜，但实际上后厨天天都在炒同一道菜，根本没有真正的多样性。**如果判断"是否重复"的标准只停留在表面的文字相似度，系统就永远发现不了那些换了马甲却骨子里一样的内容，多样性就成了一场自欺欺人的假象。**
药方：R-Quest，教会模型质疑问题本身
搞清楚了病根，研究团队提出了解决方案，叫做R-Quest。核心思路特别直接：既然问题出在"出题质量没人把关"，那就让解题者学会质疑题目，同时让系统具备识别"换皮重复题"的能力。
### 第一步：先教会解题者说"不"
在正式进入自我进化循环之前，研究者先给解题模型上了一课，专门训练它识别无效题目的能力，这个过程叫"有效性感知初始化"。
具体做法是，收集R-Zero五轮训练中产生的题目，去重后随机抽样，用外部强模型分两步标注：第一步判断题目有效还是无效，第二步只给有效题目生成参考答案，并且人工复核这些答案能否被可靠验证。最终构建出一个包含2240道题的数据集，其中923道有效，1317道无效。
| 错误类型 | 数量 | 占比 |
|---------|------|------|
| 矛盾 | 380 | 28.9% |
| 无解 | 362 | 27.5% |
| 歧义 | 315 | 23.9% |
| 信息缺失 | 181 | 13.7% |
| 题目格式不良 | 72 | 5.5% |
然后用这个数据集训练模型：遇到有效题目就正常作答，遇到无效题目就要勇敢地回答"INVALID"（无效）。为了防止模型偷懒，动不动就说"这题无效"来逃避解题，奖励函数里专门设置了惩罚项，如果模型把一道明明有效的题目误判为无效，会扣分。
> **GRPO（Group Relative Policy Optimization）**：一种强化学习训练算法，通过让模型对同一问题生成多个回答，比较组内相对表现来计算训练信号，不需要额外训练一个价值网络。
这一步训练完成后，解题模型就具备了基础的"质疑能力"，后续整个自我进化循环都建立在这个能力之上。
### 第二步：用一个冻结的"旁观者"识别重复
对付第二个问题，也就是换皮重复题，R-Quest的思路是放弃表面的文字比对，转而让AI直接判断"这两道题问的是不是同一类任务"。
具体做法是，用一个参数完全冻结、不参与训练的基础模型副本，对出题者每一轮生成的候选题目做两两比较，判断它们是不是"同一种题型"。判断标准很明确：只要数学设定和要求解决的问题本质相同，哪怕数字、变量名、包装故事完全不同，也算同一类型；但如果只是属于同一个大的数学领域（比如都是代数题），这还不足以判定为重复。
这里有个工程上的小巧思。如果每一道新题都要和批次里所有其他题目两两比较，计算量是题目数量的平方级别，太贵了。于是研究者改成每道候选题只随机抽样K道其他题目来比较（默认K=8），只要有一次被判定为"同类型"，这道题就被拒绝。
数学上可以算出，当某种重复题型在批次里占比达到20%时，用K=8的抽样策略，这道题被识别并拒绝的概率大约是83.2%；如果把K提高到16，拒绝概率能升到97.2%。
这个抽样策略就像是食品安全抽检。监管部门不可能检查市场上每一件商品，但只要抽检比例设计得当，一批劣质产品里只要有一两次被抽中检出问题，整批货就会被下架处理。**抽样比例设得太低，很多问题商品会蒙混过关；设得太高，检验成本又太贵，甚至可能把正常商品也误判下架。**
有意思的是，论文还做了个对照实验，把K从8提到16，发现虽然重复题型的占比确实进一步被压低了（前五大题型占比从某轮的30%降到16.8%），但数学成绩反而不如K=8的设置。研究者的解释是，过于严苛的多样性控制，可能把同一题型里更难、更有训练价值的变体也一并误杀了。这说明控制重复不是越狠越好，得找一个平衡点，既要赶走纯粹的重复题，又要给同一类题型里的进阶版本留出生存空间。
### 两种反馈信号合体：重新设计出题者的奖励机制
有了"有效性判断"和"新颖性判断"两件武器，接下来就是把它们整合进训练流程。
对出题者来说，它生成的每道题首先要过有效性关：解题者会尝试多次回答，如果超过一半的回答都判定这道题"无效"，出题者就会收到负向奖励，这是在明确告诉它"别出这种题"。
通过了有效性检验的题目，再进入新颖性检验，和批次内随机抽取的K道题目比较，一旦被判定为"同类型重复"，这道题同样得不到正向奖励。只有既有效又新颖的题目，才能根据解题者的回答一致性（也就是题目难度是否适中）获得真正的奖励。
对解题者来说，训练数据构建时也同样要先过有效性和新颖性两道关卡，并且训练数据里始终保留一小部分（10%）来自第一步初始化阶段的数据做"复习"，防止解题者在后续自我进化中逐渐遗忘"识别无效题"这个能力。
实验结果：十轮之后，差距拉到17.32分
理论说得再漂亮，终究要看实际效果。研究团队在Qwen3-4B-Base和OctoThinker-3B两个不同的模型家族上做了全面测试，覆盖数学推理、通用领域推理和代码生成三大类共12个评测基准。
先看五轮自我进化后的数学成绩对比：
| 方法 | Qwen3-4B-Base平均分 | OctoThinker-3B平均分 |
|------|---------------------|----------------------|
| 基础模型（未训练） | 46.17 | 24.90 |
| R-Zero | 49.10 | 28.25 |
| OCNR | 49.57 | 28.12 |
| R-Diverse | 49.82 | 28.61 |
| **R-Quest（本文方法）** | **51.64** | **30.69** |
R-Quest在两个模型家族上都拿到了最高分，相较基础模型分别提升了5.47分和5.79分，相较R-Zero也有2.5分左右的额外提升。
但真正让人印象深刻的是把训练拉长到十轮之后的表现。R-Zero在第三轮达到49.10分的峰值后就开始一路下滑，到第十轮只剩34.60分，不但没有进步，反而比没训练过的基础模型（46.17分）还差了11.57分，典型的"学废了"。
而R-Quest从第一轮到第十轮，每一轮的分数都超过了R-Zero曾经达到过的最高分，并且在第十轮达到自己的峰值51.92分，比R-Zero同一轮的34.60分高出整整17.32分。
**这不是小修小补的改进，这是把一条本应崩溃的曲线，彻底扭转成了一条持续上升的曲线。**
论文还单独测试了只保留有效性反馈或只保留新颖性反馈的效果，发现两者单独使用都能超过R-Zero的峰值表现，但有效性反馈对于防止后期崩溃更为关键，去掉它会导致模型在训练后期重新出现明显的性能下滑，而去掉新颖性反馈虽然也会下降，但幅度温和得多，整体仍然维持在基础模型之上。
再看看代码生成和通用推理这两个"跨领域"测试，毕竟R-Quest的训练素材全是数学题，它能不能把学到的能力迁移到完全不同的任务上，才是检验真功夫的地方。
| 领域 | Qwen3-4B-Base基础分 | R-Zero | R-Quest |
|------|---------------------|--------|---------|
| 代码生成（HumanEval+/MBPP+平均） | 58.79 | 59.27 | **62.69** |
| 通用推理（SuperGPQA/MMLU-Pro/BBEH平均） | 28.79 | 31.21 | **32.75** |
R-Quest在这两个完全没有直接训练过的领域依然拿到了最高分，代码生成相比基础模型提升了3.90分，远超R-Zero只提升了0.48分的表现。研究者给出的解释挺有意思：减少对无效题目的训练，可能让模型不再习惯于"基于未明说的假设强行作答"，而是更扎实地依据题目给出的实际信息进行推理，这种更严谨的推理习惯恰好也是代码生成任务最需要的，因为写代码必须严格满足题目里写明的约束条件，不能自由发挥。
有效性判断能力，确实在变强
光看最终成绩还不够有说服力，论文还追踪了训练过程中解题模型的"质疑能力"是怎么逐轮变化的。
研究者用一组固定的297道留出题目（训练中从未用过），每一轮都让当时的解题模型去判断这些题有效还是无效，统计"平衡准确率"，也就是正确识别有效题和正确识别无效题这两个比率的平均值。
结果显示，R-Quest的平衡准确率从初始化后的64.80%一路涨到第十轮的72.93%。更关键的是单独看"识别无效题的召回率"：R-Quest在第十轮达到了86.36%，意味着十道无效题里能揪出八道多；而R-Zero全程召回率都在10.23%到26.14%之间徘徊，基本等于瞎猜。
再看出题者生成的题目本身质量，R-Quest从第一轮的88.0%有效率，一路涨到第四到第十轮稳定在94.5%到97.5%之间；R-Zero则从76.5%一路跌到49.0%，几乎一半的题目都是垃圾。
最能说明问题的是"多数投票答案的准确率"这一项，这个指标反映的是解题者给题目打的伪标签到底靠不靠谱。两种方法起步时差距不大，但到第十轮，R-Quest依然保持54.69%的准确率，R-Zero却只剩2.06%，几乎完全失灵。
这组数字串联起来讲了一个完整的故事：出题质量下滑会直接污染答案质量，答案质量下滑又会反过来污染下一轮的训练数据，整个系统陷入恶性循环，像滚雪球一样越滚越糟。R-Quest正是在这个循环的起点就插入了一道闸门，把问题扼杀在萌芽阶段。
这让我想起小时候传话游戏，十个人排成一列，第一个人听到一句话后小声传给下一个人，传到最后往往面目全非。**如果链条里每一环都有轻微的失真，又没有人中途核对纠正，错误就会一点点累积放大，最终传到终点的内容可能和原意完全相反。**R-Quest相当于在传话链条的每一环都安插了一个核对员，确保信息不会越传越离谱。
写在后面
读完这篇论文，最触动我的其实不是R-Quest这套方法本身有多精巧，而是它揭示的一个更普遍的道理：当一个系统开始用自己的输出训练自己，而没有外部校验机制时，微小的质量瑕疵会被系统自己放大，直到彻底失控。
这不只是AI训练的问题。任何一个"自我评价、自我强化"的闭环系统都可能有同样的风险，比如推荐算法根据用户点击数据不断优化推荐内容，如果最初的点击数据里混进了一些噪声或者偏见，算法可能会在没有外部纠偏的情况下把这种偏见越放越大。R-Quest的解法本质上是给闭环系统引入了一个"自我质疑"的环节，让系统具备识别"我现在生成的东西本身是不是有问题"的能力，这个思路或许能迁移到很多其他自我迭代的系统设计中。
另外一个让我反复琢磨的细节是，论文里提到严苛的新颖性控制（K从8提到16）反而拉低了数学成绩。这打破了一个我原本以为理所当然的假设，就是"去重越狠越好"。事实证明，重复本身不是纯粹的坏事，同一类题型里的难度递进变体，恰恰是模型持续进步所需要的练习素材。这给了我一个提醒：优化一个系统时，单一维度上"做到极致"往往不是最优解，真正的关键是在多个相互制约的目标之间找到那个动态平衡点。
论文里还留了一个没有完全展开的问题，就是如果把这套有效性和新颖性反馈机制推广到数学之外的领域，比如科学推理、常识问答，"什么是无效问题"和"什么是重复问题"的判断标准会不会完全不一样？这或许是这条研究路线接下来最值得追问的地方。
Q&A
Q1：R-Quest是什么？
A：R-Quest是一种让推理模型持续自我进化的训练方法，通过教会解题模型识别拒绝无效题目，以及用冻结的基础模型检测重复题型，解决了自我训练中常见的性能崩溃问题。
Q2：为什么R-Zero这类自我进化模型训练几轮后会性能崩溃？
A：主要有两个原因，一是自己生成的题目里无效题越来越多（最高能到六成以上），二是出题者反复生成换汤不换药的重复题型，导致训练数据质量持续下滑，进而污染后续答案和训练效果。
Q3：R-Quest相比R-Zero效果提升有多大？
A：在数学推理十轮自我进化测试中，R-Quest在第十轮达到51.92分的峰值，比R-Zero同轮的34.60分高出17.32分，且R-Quest全程未出现R-Zero那样的后期崩溃现象。
