Token导航 LogoToken导航

AI 资讯 · 科技行者

AI训练数据加噪音提升学习效果 EDEN方法

更新 2026-11-20科技行者正文 6952字阅读约 22分钟

你有没有想过,让一个人反复做同一件事,他会越做越熟练,还是越做越死板?

这个问题放在AI训练里特别有意思。现在教AI做数学题的主流方法,是让它针对同一道题生成好几个答案,然后根据对错给打分,分数高的答案就多鼓励它往那个方向走。听起来挺合理,但这里藏着一个麻烦事:如果AI生成的这几个答案长得几乎一模一样,这套打分机制就彻底失灵了。

这就是这篇论文要解决的问题。研究者给自己的方法起了个名字,叫EDEN,听起来像伊甸园,其实是“嵌入空间定向探索与锚定噪声”的缩写。它的思路挺巧妙:不是让AI生成更多答案,而是在生成答案之前,偷偷往输入里加一点点扰动,让AI从一个稍微不同的起点出发去思考问题。

**问题到底卡在哪儿**

先说说现在训练AI做数学题的标准做法。

研究人员用的算法叫GRPO,全称是“群体相对策略优化”。

GRPO:一种让AI针对同一道题生成多个答案,再根据这些答案之间的相对好坏来调整自己的训练方法,不需要额外训练一个“打分员”模型。

具体操作是这样的:给AI一道数学题,让它生成比如16个不同的答案,每个答案做对了给1分,做错了给0分,然后看这16个答案里谁的分数比平均分高,就多奖励它一点,比平均分低就少奖励一点。这个相对高低的差值,叫做“优势”。

但问题来了。如果这16个答案里,AI给出的全是对的,或者全是错的,会发生什么?

答案是:优势全都变成0。

因为优势的计算方式是“这个答案的分数减去16个答案的平均分”,如果16个都对,平均分就是1,每个答案的分数减去1都是0。全错也是同理。这意味着,这一组训练数据白费了,AI完全学不到任何东西。

这不是危言耸听。论文里提到,随着训练推进,AI的“策略熵”——你可以理解成AI生成答案时的多样性程度——会在几百步训练之内迅速崩塌。换句话说,AI越练越自信,但自信的后果是它开始对同一道题反复给出几乎相同的答案,这些答案要么全对要么全错,训练信号就这样一点点枯竭。

研究者还提到一个更扎心的现象:有些实验显示,当你把采样数量k拉得很大的时候,AI能答对的题目覆盖率(术语叫pass@k)不但没有变好,反而比没训练过的原始模型还要差。这就好比一个学生做题越刷越多,结果脑子里能想到的解法反而变少了,是不是有点反直觉?

面对这个问题,业界已经有不少补救方案,比如调高生成时的“温度”参数让答案更随机,或者给训练目标加一个鼓励多样性的奖励项,还有调整裁剪范围的方法。这些手段都有一个共同的局限:它们都是在“生成之后”或者“更新策略时”做调整,没有碰生成答案这个源头本身。

论文作者的思路反其道而行:既然问题出在生成的答案太像了,那为什么不直接从生成的起点上做点手脚?

**往输入里加点“定向的噪音”**

EDEN的核心操作其实不复杂。正常情况下,AI看到一道题的文字,把这段文字转换成一串数字向量(这个过程叫embedding,嵌入),然后根据这串向量一个字一个字地往下生成答案。

嵌入:把文字转换成一串数字向量的过程,AI理解语言靠的就是这串数字,而不是直接“认字”。

EDEN做的事情是,在题目文字转成的向量序列末尾,多加一个位置,这个位置放的不是题目本身的内容,而是一个经过扰动的向量。打个比方,题目是“小明3乘以4乘以2等于多少”,正常情况下AI看到这句话直接开始算。EDEN相当于在这句话后面偷偷塞了一个看不见的提示牌,这个提示牌上写的字很模糊,带着噪点,AI看完题目再瞥一眼这个模糊的提示牌,然后才开始生成答案。

这个模糊的提示牌从哪来?论文里设计了两个关键部件:一个是“锚点”(anchor),一个是“噪声”。

锚点:从模型自己的词汇表里挑出来的一个固定的参考向量,相当于给扰动指定一个方向。

高斯噪声:一种随机扰动,均匀分布在各个方向上,没有偏好。

锚点提供的是方向性,同一组题目里,所有加了扰动的答案都共享同一个锚点,就像一群人被要求往同一个方向偏移一步。而高斯噪声提供的是局部的随机抖动,每个答案偏移的具体位置又略有不同,就像即使方向一致,每个人迈的步子大小和角度还是有细微差别。

这里要追问一句:为什么不能只用噪声,不用锚点?或者反过来,只用锚点不加噪声?

论文里专门做了对照实验回答这个问题。如果去掉噪声只留锚点,相当于每次都往同一个方向偏移同样的距离,结果性能直接掉回了没有任何改动的GRPO水平,提升全部消失。如果去掉锚点只保留和锚点范数匹配的随机噪声,没有固定方向可循,表现甚至比什么都不做还差。更有意思的是,如果给每个答案都随机挑一个全新的锚点,而不是让同组答案共用一个,效果同样变差。

这组对比其实揭示了一个很直观的道理:如果让一组本该相似的训练样本朝着完全不同的方向乱飘,这组样本内部的差异会大到让训练信号本身变得不可靠,就像一群本该统一行动的队伍如果各自朝不同方向走,队伍的“平均位置”这个概念就失去了意义。

打个具体的比方。想象你是摄影课老师,要求全班同学都对着同一个静物拍照,但为了让照片更有变化,你让每个人往左或往右挪半步再拍。如果大家都往同一个方向挪(锚点的作用),照片会呈现出统一的视角偏移,依然能看出是同一个静物的不同角度。但如果你让每个学生随便往任意方向挪三米(没有锚点的纯噪声),有人跑到了墙后面,有人对着天花板,这些照片根本没法放在一起比较,“这组照片的平均效果”这个说法也就失去了意义。如果你压根不让任何人挪动(没有噪声只有一个固定锚点),那所有人拍的照片其实还是一张照片,根本没有带来任何新视角。EDEN做的事情,正是让全班同学朝着同一个大致方向挪动,但挪动的具体步幅各自略有差异,既保证了变化,又保证了变化之间有可比性。

**怎么把这些“带噪音”的答案用起来**

扰动归扰动,关键问题是:这些带了噪音的答案质量参差不齐,直接一股脑全部拿去训练,会不会把模型带偏?

论文的答案是设计了一套筛选和降权机制。

具体来说,EDEN并不是对每道题都生成一大堆加噪答案,而是保持总的生成数量不变,比如原来16个答案全是标准生成,现在变成12个标准加4个加噪生成。这4个加噪答案生成完之后,并不是全都拿去训练,而是在一整个训练批次里,把所有题目产生的加噪答案放在一起比较,只留下那些“优势”绝对值排在前50%的答案。

为什么要按绝对值排序,而不是只挑优势为正的?论文里给出一个很细致的数学分析:在一组二元打分(对或错)的答案里,如果大多数答案都做对了,只有少数做错,那么做错的那个答案反而会得到数值上更大的负优势;反过来如果大多数做错少数做对,做对的那个答案会得到更大的正优势。换句话说,按绝对值挑选,天然就会优先选中那些“打破了多数一致意见”的少数答案,这正是最有信息量的训练样本。

筛选完之后还有一道工序:这些被选中的加噪答案在参与训练更新时,它们的优势值会被打一个折扣,乘上一个小于1的系数。为什么要打折?因为这些答案是在“被扰动过的输入”条件下生成的,但真正要训练和未来要用的模型是面对“干净的、没有扰动的输入”,这中间存在一个条件不匹配的问题,打折相当于告诉模型“这个答案的参考价值要打个折扣,别太当真”。

这套设计让我想起团队管理里常见的一个做法:公司想要收集一些打破常规的创意想法,于是开了一个“头脑风暴特别小组”,允许这个小组成员说一些天马行空、未经严格验证的点子。但这些点子直接拿来当作正式决策是危险的,所以公司的做法通常是,把这些点子筛选一遍,挑出真正有价值的几条,然后以“建议”而不是“决议”的身份提交给正式团队参考,权重上天然要打个折扣。如果不这样处理,直接把头脑风暴小组的所有未经验证的想法都当成正式决策执行,公司很可能被一些不靠谱的点子带到坑里去。EDEN对加噪答案的处理,本质上就是这种“建议而非决议”的权重分配智慧。

**训练稳定性的隐藏陷阱**

这里还有个技术细节值得说一说,因为它揭示了一个容易被忽略的坑。

论文发现,如果一开始就用很强的噪声强度去生成加噪答案,训练很快就会崩掉,梯度范数会飙升到天文数字,最后直接出现数值错误(NaN),整个训练过程作废。

解决方案是引入一个温度调度:训练刚开始时,加噪答案生成时使用的随机性(术语叫“采样温度”)调得很低,随着训练步数增加,温度沿着一条余弦曲线慢慢爬升到目标值。

采样温度:控制AI生成答案时随机性大小的参数,温度越高,答案的多样性越大,但也越容易偏离合理范围。

这个设计的必要性在对照实验里体现得很直接:如果去掉这个渐进式的温度调度,直接从一开始就用目标温度生成加噪答案,训练到129步左右就彻底崩溃,梯度范数的对数坐标图上能看到数值一路飙升十几个量级,验证集准确率先涨后跌最后归零。

这让我想起学游泳的过程。没有人会让一个完全不会游泳的人直接跳进深水区,正确的做法是先在浅水区熟悉水性,再一点点往深水区挪。如果一开始就把人扔进最深最复杂的水域(对应直接用高温度),大概率的结果不是学会游泳,而是直接溺水出局,这正是论文里观察到的训练崩溃现象。温度调度这个设计,本质上就是给AI的“冒险尝试”设置了一个由浅入深的适应过程。

**结果到底好在哪**

说了这么多设计细节,回到最核心的问题:这套方法真的管用吗?

论文在三种规模的模型上做了测试,从5亿参数的小模型到70亿参数的中等模型都覆盖了,测试的任务是数学推理题,涵盖从小学算术难度的GSM8K到奥赛难度的OlympiadBench等八个不同难度梯度的题库。

下面这几组数字,是整篇论文最直接的证据。

| 评测指标 | 方法 | MATH | GSM8K | AMC | 奥赛题 | 高考题 | Minerva | 平均分 |

|---|---|---|---|---|---|---|---|---|

| Pass@1 | GRPO基线 | 76.60 | 86.35 | 53.01 | 40.50 | 64.94 | **31.99** | 58.90 |

| Pass@1 | EDEN | **77.40** | 86.28 | **63.86** | **41.84** | **67.01** | 31.62 | **61.34** |

| Pass@8 | GRPO基线 | 86.60 | 94.92 | 69.88 | 55.34 | 77.14 | 41.54 | 70.90 |

| Pass@8 | EDEN | **89.60** | **95.60** | **79.52** | **55.93** | **78.96** | **44.12** | **73.96** |

Pass@1和Pass@8:Pass@k是指让AI针对同一道题生成k个答案,只要其中有一个答案做对,就算这道题“过关”。Pass@1相当于只给一次机会,Pass@8相当于给八次机会挑一个对的出来。

从这组1.5B参数规模模型的数据能看出,EDEN在平均分上超过GRPO基线2.44个百分点(Pass@1)和3.06个百分点(Pass@8)。单看AMC这一项,Pass@1从53.01涨到63.86,这是将近11个百分点的跃升,不是一个小数目。

换到70亿参数规模的模型上,趋势依然成立。更有意思的是,论文还专门测试了一个更极端的场景:把采样数量拉到256次,专门考验在超大采样预算下,模型到底能不能覆盖到更多正确解法。结果是,在AIME这个难度极高的竞赛题库上,EDEN相比GRPO基线平均提升了6.67个百分点,其中AIME 2025这一项单独提升了13.33个百分点。

这组数字说明一件挺重要的事:EDEN带来的好处,不只是让AI“偶尔撞对”一次答案,而是实实在在扩大了AI能够触及的正确解法的范围,即便你给它256次机会,这个优势依然存在,没有随着采样次数增加而被摊薄。

论文还做了一个很直观的可视化分析,统计AIME题目里被答对的解法用了多少种不同的推理路径。统计显示,用EDEN训练出来的模型,答对的题目里,用4种及以上不同解法攻克的题目数量明显增多,而只用单一解法攻克的题目数量相应减少,整体正确答案数量提升了15.8%。

**增加采样数量不是万能解药**

看到这里你可能会想,既然问题是答案太像,那干脆直接让AI每道题生成更多答案不就行了吗,比如从16个加到32个?

研究者也想到了这一点,专门做了对照实验。结果是,把GRPO的生成数量从8个加到32个,Pass@1只提升了0.5个百分点,Pass@8反而还略微下降了。

这个结果其实挺扎心的。花了四倍的计算资源去多生成答案,收益却几乎可以忽略不计。

论文给出的解释是,无论生成8个、16个还是32个答案,到训练200步左右,AI生成答案的多样性(用熵这个指标衡量)都会收敛到差不多同样低的水平。相比之下,用了EDEN之后,模型在训练后期始终保持着比任何一种GRPO配置都更高的熵。

这就好比一家公司想激发员工创意,想到的办法是多招几个性格、背景都差不多的新人进团队。结果呢,这些新人很快就被团队现有的工作习惯同化,产出的想法和老员工几乎没有区别。如果不改变招人的筛选标准,光靠增加人数,团队的思维惯性照样会把新人磨成跟老员工一个模子里出来的。真正能带来新鲜血液的做法,是刻意引入一些来自不同背景、带着不同思维习惯的人,这才对应了EDEN往输入端注入定向扰动的做法,而不是简单地堆人头。

**那些看起来可能有用但其实没用的办法**

论文还顺手检验了几种常规的“扩大探索范围”手段,结果都不如EDEN。

比如调高采样温度,论文测试了1.2和1.4两档,发现效果很不稳定,在某些题库上有提升,另一些题库上反而下降,极端温度下训练甚至会不稳定,必须把熵奖励系数清零才能勉强跑完整个训练流程。

再比如直接给训练目标加一个更大的熵奖励,让模型主动倾向于生成更多样的答案。论文做了系数从0.001加到0.005的对比,结果是熵确实涨上去了,但验证集的准确率反而在熵奖励系数变大的时候下降了。这说明单纯逼着模型随机,并不等于让模型探索出有价值的解法,这两者是两件事。

还有一种叫“非对称裁剪”(Clip Higher)的手法,是另一篇论文DAPO提出的技巧,通过调整策略更新时的裁剪范围,让模型有更大空间去探索那些概率本来较低的答案。单独使用这个技巧,相比GRPO基线确实有一点提升,但幅度有限且不稳定。而当EDEN和这个技巧结合使用时,表现反而比EDEN单独使用更好,这说明EDEN的输入端扰动和输出端的策略调整并不是互相替代的关系,而是可以叠加互补的。

**噪声比例也有讲究**

论文还测试了,如果把加噪答案的比例从25%提高到50%,会怎样。

结果是,50%这个比例的表现几乎和完全不加噪的GRPO一样,25%才是效果最好的配置。

这个发现背后的逻辑其实不难理解:如果一半的答案都带着扰动,那么留给模型学习“正常、可靠”解题路径的标准答案就只剩一半,训练信号的稳定性会被稀释。这就跟往一杯咖啡里加糖一样,少量的糖能提味,但如果糖和咖啡各占一半,那喝起来已经不是咖啡了,而是糖水,原本咖啡该有的风味反而被盖掉了。

**写在后面**

读完这篇论文,最让我意外的一点,其实是研究者选择干预的位置。

现在大部分改进训练效果的论文,要么在改打分规则,要么在改采样策略,很少有人想到直接往模型的输入向量里偷偷塞一个带噪声的词向量,而且还只加在一个位置上,加完之后模型该怎么生成后面的内容完全不管,让模型自己根据这一点扰动自由发挥。这种“只改一个起点,剩下全靠模型自己跑”的做法,比我预想的要简单粗暴,但效果却出乎意料地扎实。

还有一个细节值得单独说一说。论文里提到,即便是在强化学习训练开始之前,也就是用一个完全没训练过的原始模型,只要加上这种锚定噪声去生成答案,正确答案在“表达方式”上的分散程度,就已经比标准生成的答案高出大约1.6倍。这说明扰动带来的多样性,根本不需要等训练过程去“教”出来,它是输入扰动本身自带的属性,训练只是把这种本来就存在的多样性,转化成了实际能用上的学习信号。这个发现有点像是说,钥匙其实一直都在锁眼边上,只是过去没人想到去转一下。

论文留下的一个开放问题是,现在这个噪声锚点库是提前筛选好、训练过程中完全固定不变的,如果让这个锚点库本身也能随着训练动态调整,或者和模型参数联合优化,会不会探索出更有针对性的方向?这个问题论文自己也承认还没解决,留给了后续研究者。

一个模型在没人看着的时候,偷偷往自己脑子里塞了一点杂音,然后发现自己好像想得更开了。这事儿怎么听都挺值得琢磨。

Q&A

Q1:EDEN是什么?

A:EDEN全称是“嵌入空间定向探索与锚定噪声”,是一种让AI在做数学推理训练时表现更好的方法,核心做法是在生成答案之前往输入向量里加一点带方向的噪声,让部分答案从稍微不同的起点生成,从而增加答案的多样性。

Q2:EDEN和直接增加生成答案数量有什么区别?

A:论文做过对比,把GRPO的生成数量从8个增加到32个,准确率几乎没提升,答案多样性照样很快收敛到很低水平。而EDEN在不增加总生成数量的前提下,通过往输入里加锚定噪声,训练后期始终保持更高的多样性,效果明显更好。

Q3:EDEN会不会让训练变得不稳定?

A:如果噪声强度一开始就调得很高,确实会导致训练崩溃,梯度飙升甚至出现数值错误。论文的解决办法是用一个温度调度,训练初期噪声随机性调低,随训练步数增加再慢慢提升,这样既保留了探索效果又避免了训练崩溃。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。