2026年,如果你在凌晨刷arXiv,大概每隔两天就会看到一篇新论文宣称自己找到了训练AI智能体的更好方法。
这不是夸张的说法。有研究者统计过,过去三个月里,专门研究"自我蒸馏"这个方向的论文多达47篇,平均每1.9天就有一篇新作发布。这个速度放在任何一个科研领域都堪称疯狂,相当于一个足球联赛,每隔一场比赛就冒出一个新的战术体系。
但这里有个让人不安的问题:这么多论文,真的都在往前走吗?
自我蒸馏*:一种让AI智能体训练得更好的技术,核心思路是让模型自己扮演两个角色,一个是只能看到普通信息的"学生",一个是能偷看额外信息的"老师",用老师的判断去指导学生的学习。
事情的诡异之处在于,几乎每篇论文都会告诉你"我们的方法比基线更好",但你很少能看到两篇论文互相比较。研究A说自己在2B模型上超越了基线,研究B说自己在4B模型上更强,研究C用了更大的训练预算,研究D换了评测方式。读者看完十篇论文,脑子里装的是十个"我比基线强"的结论,却完全无法回答一个最基本的问题:如果把这十个方法放在同一个擂台上,谁才是真正的赢家?
这就是浙江大学和蚂蚁集团的研究者们决定去做的事。他们没有再提出第十一种新方法,而是选择了一件更费力也更重要的工作:把十种有代表性的自我蒸馏方法,拉到同一个训练环境里,用同样的任务、同样的模型规模、同样的评测标准,狠狠地比一遍。
这场比较的规模相当惊人。132次完整的训练,总共消耗了12124.4个H800 GPU小时,覆盖四个智能体任务环境、三种模型尺寸,外加2772次训练过程中的验证检查和1152次重复评测。换算成更直观的说法,如果一块H800显卡每小时电费加租赁成本按行业大致水平估算,这个工程的硬件开销足以让大多数实验室望而却步。这正是为什么没有人愿意做这件事,因为复现别人的训练本身就很贵,把十一种方法都复现一遍更是指数级的昂贵。
研究团队在论文里说了一句很实在的话:独立评估应该优先于提出新方法,眼下最需要搞清楚的是,到底哪些东西值得继续建立在它上面。
这篇文章就是带你走进这场"真相大白"式的大比武,看看结果到底如何。
自我蒸馏到底在解决什么问题
要理解这场比武的意义,得先搞清楚自我蒸馏想解决什么麻烦。
AI智能体,也就是能够通过一系列动作和观察来完成任务的语言模型,比如在虚拟房间里收拾东西的机器人,或者在网购平台上帮你挑选商品的助手,它们的训练方式通常依赖强化学习。
强化学习*:一种训练方法,让AI通过不断尝试和犯错来学习,只有在完成整个任务后才会得到一个"做得好不好"的反馈信号,中间每一步具体对错与否并不会被单独告知。
这种训练方式有个天生的缺陷。假设一个智能体要完成50步动作才能完成一个任务,最后只告诉它"任务失败了",它完全不知道是第3步出了问题,还是第47步搞砸了。这就像老师批改一篇长达50页的论文,只打一个"不及格",却不告诉你到底哪一段逻辑出了问题。学生拿到这种反馈,除了从头再写一遍,几乎学不到任何有针对性的东西。
自我蒸馏的解法是,让模型在训练时多扮演一个"老师"角色。这个老师能看到一些学生看不到的"特权信息",比如未来会发生什么、这个任务应该怎么做的提示,然后老师会给学生生成的每一步动作打分,这些细粒度的打分就能变成更密集的学习信号,告诉学生具体哪一步做得好、哪一步需要改进。
这个思路听起来很合理,甚至可以说很优雅。但问题恰恰出在"听起来合理"这四个字上。
论文作者翻查了十篇代表性方法的原始论文,发现一个让人意外的空白:这些论文里,只有1篇认真做了"重复评测",只有5篇分析了"训练失败的情况",只有3篇测量并报告了"计算成本"。也就是说,十篇论文里,没有一篇同时做到了这三件最基本的尽职调查。
重复评测*:用不同的随机种子多跑几次评估,看结果是不是稳定,而不是只跑一次就下结论。
训练失败分析*:检查模型在训练过程中是否出现过性能暴跌、训练崩溃等不稳定现象,而不仅仅看最终那一次的分数。
这就好比一群人在比谁家的汽车跑得快,但大多数人只报告了"在某次测试里跑出的最高速度",却没人说清楚这辆车是不是开到一半会熄火,也没人说清楚烧了多少油才跑出这个速度。单看最高速度,你永远不知道这车到底靠不靠谱。
四个擂台,十一位选手
研究团队搭建的这个比武场,用了四个经典的智能体测试环境。
第一个是ALFWorld,要求智能体通过文字指令完成家务,比如把苹果放进冰箱。第二个是ScienceWorld,要求智能体做科学实验,比如测量物体的重量。第三个是Search-QA,要求智能体通过检索资料来回答问题,题目来源涵盖NQ、TriviaQA、HotpotQA等七个数据集,总共3125道题。第四个是WebShop,要求智能体在模拟购物网站上找到并选中符合要求的商品。
模型规模方面,他们选用了Qwen3.5系列的2B、4B、9B三种尺寸,对应小、中、大三档参数量。四个任务乘三个尺寸,正好是十二个"模型加任务"的组合,每一个组合都要单独跑一次完整训练。
参赛选手是GRPO作为基准,外加十种自我蒸馏方法:GRPO+OPSD、SDAR、Skill-SD、RLSD、OCSD、OVCSD、AgentOPSD、ADRS、ICSD、PCSD。这些名字看起来像一堆乱码,但它们各自代表了不同的技术路线。
GRPO*:Group Relative Policy Optimization的缩写,一种不依赖额外老师信息、只用任务最终结果来打分训练的强化学习方法,是整场比武里唯一的"裸拼"选手,其余十个都带着某种形式的老师辅助。
这十种带老师辅助的方法可以粗略分成四类打法。第一类是在原有损失函数上加一个"辅助目标",让学生去模仿老师给出的分数,代表是SDAR、Skill-SD、ICSD、PCSD。第二类是直接修改"优势值",也就是调整每一步动作在训练信号里的权重,代表是RLSD、OCSD、AgentOPSD。第三类是重新设计奖励和优势的计算方式,代表是ADRS。第四类是让老师真正去completion一段"验证过的"后续动作,直接把这段验证过的轨迹喂给学生学习,代表是OVCSD。
值得一提的是,所有这些方法用的"老师"模型,骨架和学生用的是同一个模型,区别只在于老师能看到额外的训练专属信息,比如任务相关的技能提示或者未来观测结果,而学生在实际部署时完全看不到这些信息。
这就像考试时,老师批改学生答卷的同时,手里偷偷握着一份标准答案或者未来几道题的提示,凭借这些额外信息判断学生这一步走得对不对。但学生自己考试的时候,是看不到这份提示的。设计者的赌注是,这种"偷看提示"的老师给出的反馈,会比单纯的对错判断更有营养。
那么,这场豪赌到底赢了吗?
没有人能一直赢
论文给出的第一个结论,足以让很多方法作者感到不安。
在十二个任务组合上统一取平均,只有PCSD和AgentOPSD这两个方法的整体表现超过了GRPO,分别高出4.58分和1.66分,其余八种方法的平均成绩反而比不加任何老师辅助的GRPO更差。
这个结果值得停下来咂摸一下。十个方法里,有八个在整体平均分上输给了最朴素的基线方法。如果把这十个方法想象成十个声称自己能提升学习效率的补习班,结果却是,八个补习班送出来的学生平均成绩反而不如完全自学的那批人。
更微妙的是,即便是表现最好的方法,也远远谈不上"全面碾压"。
拿ICSD来说,它在十二个设置里赢了GRPO七次,看起来战绩相当漂亮。但当你把它在4B模型WebShop任务上的成绩拿出来看,数字是0.00%成功率,也就是说这个任务它彻底崩了,一次都没成功过。这一次彻底的失败,把它整体平均分拖到了44.75,反而低于GRPO的49.68。
这就像一个学生在十次考试里考了七次第一名,但在第八次考试里直接零分交卷。如果只看"赢了几次",你会觉得这个学生很厉害,但真正该关心的问题是,那次零分到底发生了什么,是不是意味着这个学生在某些题型上存在系统性的、致命的弱点。
论文里还提到一个更直白的例子。GRPO+OPSD赢了六个设置,但平均分只有43.05,原因是它在4B模型的ALFWorld任务上成功率只有1.52%,而GRPO在同一设置上能跑到82.05%。这不是小幅落后,这是从一个正常运转的智能体,退化成了几乎完全不会干活的废物。
研究团队把这个现象归纳成一句很扎实的判断,胜负场次的统计会掩盖严重的退化。换句话说,数胜场这种评价方式,本身存在一个巨大的漏洞,它把"小输一点"和"输得体无完肤"算成了同样的一次失败,但这两者的代价完全不是一个量级。
论文还指出,领先者的身份会随着任务和模型规模剧烈变化。ALFWorld在三个尺寸上分别是Skill-SD、RLSD、ICSD领先,ScienceWorld在三个尺寸上分别是OVCSD、OCSD、GRPO领先,只有WebShop这一个任务,GRPO+OPSD能在三个尺寸上都保持领先。这种领先者走马灯式的切换,说明没有任何一种方法真正具备"放到哪儿都好用"的普适性。
好成绩可能只是假象
如果说胜负统计还只是暴露了"赢了也可能是侥幸",那第二个发现则更为致命,一个方法最终跑出来的分数,根本不能证明它训练过程是稳定的。
研究团队把132次训练的完整验证曲线都画了出来,每5步记录一次,一共2772个数据点。这些曲线揭示了一个单看终点分数永远不会被发现的秘密。
在4B模型的ALFWorld任务上,AgentOPSD在训练到第35步时达到了60%的成功率,看起来一片大好。但紧接着,从第45步到第70步,一连六次检查点,成功率没有一次超过4.3%。换句话说,这个模型经历了长达35步的几乎彻底失能期,相当于一个本来会走路的孩子,突然瘫倒在地,整整一个月站不起来。幸运的是,它最终在第100步恢复到了79.3%,成绩看起来漂亮,但如果你只盯着最后这一个数字,完全不会知道中间发生过这样惊心动魄的崩溃。
另一个案例更令人不安。同样是4B ALFWorld任务,GRPO+OPSD在第20步时达到过39.3%的成功率,结果从第25步到第40步直接归零,而且这次没有恢复,最终定格在2.1%。
这两个案例的区别在于,一个是"晕厥后苏醒",一个是"晕厥后真的没醒过来"。但如果评价标准只看终点分数,前者看起来表现优秀,后者看起来表现糟糕,中间经历的那段近乎失能的黑暗期,完全不会被纳入考量。
这就好比两个运动员参加马拉松比赛,一个人在中途腿抽筋瘫倒在地,躺了半小时后挣扎着爬起来跑完全程并且撞线成绩不错,另一个人同样抽筋瘫倒,但再也没能起来,最后被担架抬下赛道。如果赛事报道只写"第一名撞线成绩",完全不会提到那半小时的抽筋瘫倒,读者会以为这场比赛风平浪静。
论文里还有一个更微妙的层面叫做"训练曲线下面积",简称AUC,用来衡量模型在整个训练过程中累积的、持续的表现水平,而不只是终点那一刻的快照。
AUC*:全称是Area Under Curve,这里特指验证曲线下方的面积,数值越高说明模型在整个训练过程中持续保持了更好的表现,而不只是在某一个时间点运气好。
按照这个指标重新排名,结果再次让人意外。十二个设置的综合平均里,PCSD虽然终点分数排名第一,但它的AUC排名只有第二,真正AUC第一的是OCSD,其终点分数排名却只排到第四。AgentOPSD更夸张,终点分数排第二,但AUC排名却跌到了第九,比GRPO还低。
这组数据合在一起说明一件事,一个强大的最终模型,很可能是从一条相当糟糕的训练轨迹里挣扎出来的。如果你只看最后那一刻,你会以为整个过程都很顺利,但真实情况可能是跌跌撞撞、险象环生。
论文里还提到一种叫"后期衰退"的现象,就是模型训练到某个阶段达到巅峰,然后在后续训练里反而掉头下滑,而且这种下滑一直持续到训练结束,没有恢复。十二个设置里有9次训练出现了至少20个百分点的巅峰到终点落差。比如OCSD在4B ALFWorld任务上,第60步时冲到85.0%,结果一路下滑到终点的51.4%,最后三次检查点平均只有50.5%,这不是偶然的一次失手,是持续性的实力下降。
这些发现放在一起,勾勒出一个让人不安的画面。很多论文里展示的"亮眼最终成绩",可能只是一次恰好站在高点的快照,背后隐藏着漫长的不稳定甚至彻底崩溃的历史。
多花的钱,未必能换来更强的智能体
第三个发现,直指所有人都该关心的一个现实问题,这些花里胡哨的新方法,到底值不值这个训练成本?
研究团队把每种方法消耗的训练时间都测量了下来,所有训练都统一用8张H800显卡跑,这样时间长短就直接对应了计算资源的多少。
结果是,在120组方法与GRPO的两两比较里,有112组需要花费更多的净训练时间。而在这112组里,有58组最终跑出来的分数反而更低,还有7组打了平手。换句话说,大部分情况下,花更多钱训练出来的模型,表现反而更差,或者顶多打平。
即便是前面提到的两位"赢家"PCSD和AgentOPSD,它们带来的提升也不是免费的。PCSD平均比GRPO多花17%的训练时间,AgentOPSD多花19%。这意味着即便这两个方法真的更强,它们的性价比也要重新打上一个问号。
而OVCSD的训练时间开销最夸张,平均比GRPO多出37%,却没能换来整体平均分的提升。这种投入和产出完全不成比例的情况,放在企业决策场景里会是什么样子?假设你的公司要花37%更多的服务器预算,结果训练出来的模型表现反而没有改善,这笔账怎么算都是亏的。
研究团队还做了一个很狠的检验,叫"同等时间预算下的比较"。具体做法是,拿GRPO跑完整个训练花的时间作为一个固定预算,然后看其他方法在这个相同的时间内,能跑到训练过程中的哪一步,用那一步的分数去跟GRPO的终点分数比,而不是跟它自己跑满100步之后的终点分数比。
这个检验方式揭开了一个关键的假象。AgentOPSD在ALFWorld任务上,如果让它跑满100步,平均成功率是68.10%,看起来远超GRPO的58.10%。但如果换成"同等时间预算"的比较方式,AgentOPSD在那个时间点上的成绩直接跌到37.63%,反而输给了GRPO。PCSD在WebShop任务上也出现了同样的翻车,跑满100步能到73.17%,但同等时间预算下只有63.83%,照样输给GRPO的68.20%。
这个发现的意思是,很多方法的"优势",其实建立在一个隐藏的前提上,那就是它比基线方法多花了更多的计算时间。一旦把这层时间差异去掉,放在同一个起跑线上重新比较,优势就消失了。
这就好比两家餐厅比谁家的招牌菜更好吃,A餐厅声称自己赢了,但后来发现A餐厅做这道菜用了两个小时,而B餐厅只用了一个小时。如果给B餐厅同样两个小时的时间,它可能做出一道更好的菜。真正公平的比较,应该是同样的时间预算下谁做得更好,而不是不限时情况下谁的终点菜品更精致。
这些发现放在一起告诉我们一件很朴素的事情,评价一个AI训练方法好不好,不能只看它跑完全程之后的那张成绩单,还要看它这一路走得稳不稳,更要看它花了多少资源才换来这点改善。
写在后面
读完这篇论文,我最在意的其实不是哪个方法赢了哪个方法,而是这件事本身所反映出来的科研生态问题。
一个领域每两天就冒出一篇新论文,听起来像是在飞速进步,但如果这些论文之间互相不比较、评测标准各不相同、复现条件天差地别,那这种"进步"更像是在原地画了很多个圆,而不是真的往前走了多远。
论文里提到的一个细节让我印象很深,十篇方法论文里,只有一篇真正做了重复评测。这意味着大部分论文里报告的那个"超越基线"的数字,可能只是跑了一次运气好的结果,换一个随机种子,结论可能完全不同。这不是在指责某个作者偷懒,而是说明整个评审和发表的激励机制,可能从根本上没有把"稳健性"当成一个硬性要求。
还有一点值得单独说一说。论文作者没有选择再提出第十二种新方法去挤进这场拥挤的赛道,而是选择花大量时间和真金白银去做这件相对"不出风头"的复现评估工作。这种选择在当下这种追求论文数量和曝光度的科研环境里,其实需要一点逆流而上的勇气。谁都知道提出一个新方法、哪怕只是微调一下现有方法再包装一个新名字,更容易被接受和引用,而花钱花时间去挑别人的毛病、建立一个公正的评测基准,短期内很难换来同等的学术回报。
这让我联想到软件工程领域一直存在的类似矛盾,写新功能永远比写测试用例更容易获得认可和升职加薪,但没有扎实的测试,再多的新功能堆上去也可能是一座随时会塌的危楼。AI研究领域的现状,某种程度上也是在不断堆叠新功能,却迟迟没有建立起足够扎实的测试体系。
论文里还有一个没有被完全回答的问题,这十种自我蒸馏方法失败的具体原因到底是什么。是老师给出的信息本身就存在偏差,还是学生在模仿老师的过程中学歪了方向,又或者是训练过程中某种数值不稳定性在作祟?论文做了一些数值诊断,比如检查梯度是否出现过无穷大或者非数值的异常情况,结果发现大部分表现糟糕的训练,梯度记录其实是完全正常的。这说明问题可能并不在那些容易被工程手段捕捉到的数值bug上,而藏在更深层的、关于"老师给出的额外信息到底有没有在帮倒忙"这个认识论层面的问题里。
如果老师看到的那些特权信息,反而让它给出的指导偏离了学生真正需要学习的东西,那这整条技术路线的根基,可能都需要重新审视。
Q&A
Q1:自我蒸馏在智能体强化学习里具体是指什么?
A:自我蒸馏是让AI模型在训练时额外扮演一个"老师"角色,这个老师能看到学生看不到的额外训练信息,并据此给学生生成的每一步动作打分,用这种更细粒度的打分来指导学生学习,从而弥补传统强化学习只在任务结束时给一个总体反馈的缺陷。
Q2:这项基准研究一共测试了多少种方法和多少次训练?
A:研究团队比较了十种代表性自我蒸馏方法和GRPO基线,覆盖ALFWorld、ScienceWorld、Search-QA、WebShop四个任务环境和2B、4B、9B三种模型规模,总共进行了132次完整训练,消耗了12124.4个H800 GPU小时。
Q3:研究得出的最重要结论是什么?
A:三个核心发现是,大多数自我蒸馏方法的整体表现并没有稳定超越基线GRPO,一些方法最终分数虽然好看但训练过程中出现过严重的性能崩溃或长期衰退,而且多花的训练时间和计算成本并不总能换来更好的最终效果。







