先问你一个问题。
如果你让一个刚学会做饭的人,一边炒菜一边写菜谱,你觉得这份菜谱靠得住吗？
这不是抬杠。这正是当下agentic RL训练AI智能体时遇到的真实困境。
“agentic RL”，也就是智能体强化学习，指的是让AI通过和环境互动来学习完成任务，比如在虚拟房间里找东西、在网上搜资料回答问题，整个过程要走很多步，每一步都算一次互动。
你可能以为训练AI完成这类多步任务已经很成熟了，毕竟AlphaGo都下赢人类好多年了。但事实没那么简单。AlphaGo的每一步棋都有明确的输赢反馈，而智能体任务往往要走几十步才知道成不成功，中间哪一步错了、哪一步对了,根本没人告诉它。这个问题叫“信用分配”,简单说就是,任务最后成功了,到底该感谢前面哪一步操作？任务失败了,又该怪谁？
近几年研究者想出了两条路来缓解这个问题。第一条叫RLVR，强化学习加可验证奖励，意思是设计一个能自动打分的规则,任务做完了检查结果对不对,对就给1分,错就给0分,然后把这个分数平摊给整条路径上的每一步。第二条路叫OPSD,在线自我蒸馏,意思是找一个“更懂行”的老师版本,给学生生成的每一个词打细粒度的分,让学生去模仿老师的判断。
这两条路各有缺陷。RLVR的问题是太粗糙,一条路径走了50步,结果只对最后那一下打分,其实根本不知道是第30步做对了还是第45步做对了,干脆所有步骤平摊同一个分数。这就好比一场足球比赛，赢了3比0，于是裁判说全体11个队员每人加10分，不管谁传球失误、谁进了关键球。你当然知道这不公平，但没有更细的办法。
OPSD想解决这个粗糙问题，办法是找一个老师来打细粒度的分。但这个老师从哪来？研究者想到一个巧妙的点子：让AI自己给自己当老师。具体做法是，让同一个模型先总结一下这次任务里学到了什么“技能”（比如“开柜子前先确认钥匙在不在手上”），然后把这个技能塞进自己的提示词里，再去给学生自己生成的每个词打分。因为有了额外提示（研究者管这个叫“特权上下文”，意思是只有老师看得到，学生看不到的额外信息），老师的判断理应比学生更靠谱。
特权上下文：训练时额外提供给“老师”模型的信息，比如任务技能总结，学生在正式执行任务时是看不到这些信息的。
听起来很合理，对吧？老师比学生多知道一点，所以老师说的更可信。但这篇论文的作者们做了一个实验，结果让这个“合理”的假设站不住脚了。
技能和政策，谁跟不上谁
论文作者们先做了一个很细致的观察，发现现有方法藏着两个大坑。
第一个坑是技能生成跟不上任务执行的进步。
研究者们复现了一个叫SEED的方法（这是本文对比的最强基线之一），训练一个“技能生成器”去总结AI自己跑出来的轨迹，提炼出可复用的技能。问题是，这个技能生成器是提前训练好的，用的是SFT数据，也就是监督微调数据，是在正式强化学习训练开始之前标注好的。
SFT：监督微调，用人工标注好的数据预先训练模型，让模型具备某种基础能力，是强化学习训练之前的热身阶段。
研究者查了一下这批SFT数据的质量，发现只有0.25%的轨迹是成功的。为什么这么低？因为当时的基础模型连动作格式都写不对，只有11%的步骤符合要求的格式。换句话说，技能生成器学的几乎全是失败案例，总结出来的技能86.8%都是在教“怎么把格式写对”这种基础问题。
但强化学习训练一旦正式开始，情况180度转弯。模型的任务成功率在最初十步内就冲到80%以上，几乎所有动作格式都是对的（99.7%有效）。
这就产生了一个尴尬的局面：技能生成器脑子里装的还是“怎么不写错格式”，而真实的学生已经毕业很久了，正愁着怎么优化更高层的策略和路径规划，比如先去哪个房间找东西更快。技能生成器完全没有跟上学生的成长节奏。
这就像请一位小学数学老师来教高三学生做微积分题。老师教的那套方法在小学阶段很管用，但高三学生早就不需要那些内容了，老师给的建议和学生的真实水平完全错位。如果不让技能生成跟着学生一起进步，老师永远在教已经过时的东西，学生学不到真正需要的东西，这种错配只会越拖越严重。
第二个坑更要命：老师不一定靠得住。
研究者统计了“技能增强版老师”和“学生自己”在同一批任务上谁表现更好。结果发现，老师在5.5%到22.4%的任务上反而比学生表现更差。而且这个比例跟学生当前的水平有关系：如果学生在4次尝试里能成功1到3次（也就是“半生不熟”的阶段），老师的优势最明显；但如果学生已经4次全对，或者4次全错，老师反而占不到太大便宜，甚至有13.6%到16%的情况老师还更差。
把时间轴拉长看，训练刚开始的头15步，老师在22.9%的任务上更好，但在15%的任务上更差。训练继续推进之后，老师持续在4%到11%的任务上输给学生。
这意味着什么？意味着无条件相信老师，是在拿不确定的指导去冒险。好比一个新手司机，副驾驶坐着一位“老司机”，但这位老司机其实是刚拿到驾照没多久、路况也不熟的半熟人。你如果每次都百分百听他的建议去打方向盘，有一部分时候是对的，但也有一部分时候他的判断比你自己瞎开还差。如果不去验证这位“老司机”到底靠不靠谱，就全盘信任他的指令，方向盘打错的概率只会悄悄累积。
这两个坑，一个是技能没跟上进度，一个是老师不一定靠谱，共同指向同一个核心矛盾：现有方法假设技能库是静态的、老师永远可信，但真实情况是两者都在变化，而且变化方向还未必一致。
RSIPO要解决什么
针对这两个坑，论文提出了RSIPO，全称递归自我提升策略优化，核心思路是让技能生成和任务执行协同进化，同时让模型学会动态判断什么时候该信老师、什么时候不该信。
这个框架保留了原来的RLVR分支和OPSD分支，额外加了一套“执行检查”机制，用来回答两个问题：这个技能到底有没有用？这个老师到底靠不靠谱？
怎么检查？论文设计了一个很巧妙的方法，叫轨迹重放。
轨迹重放：在还没看到任务结果之前，先把同一批次的多次尝试随机分成两组，一组用来生成和验证技能，另一组保持原样作为对照，之后拿两组的表现做对比，评估技能到底带来了多少实际提升。
具体流程是这样的：假设一个任务跑了8次独立的尝试（论文里叫G次rollout），先把这8次随机对半分成“证据组”和“对照组”。注意，这个分组是在还不知道哪次成功哪次失败之前就做的，这样对照组才能真实反映学生当前的水平，不会被人为挑选的结果污染。
然后从证据组里挑一条轨迹（优先挑成功的），让模型自己总结出一个技能。如果这个技能格式有效，就把它塞进模型自己的提示词里，从同一个初始状态重新跑4次（这叫重放，K=4），看看效果如何。
每次重放都用一个“效用函数”打分：成功了得1分，失败了得0分，而且步数越少说明越高效，分数还会有折扣。重放组的平均效用减去对照组的平均效用，就是这个技能带来的真实收益，论文管这个叫“重放增益”。
这就好比健身房教练教了你一套新动作，光靠他说“这个动作很有效”没用，得真的让你用这套新动作练一组，再找另一个没学新动作的人练一组做对照，比较两组谁进步更明显。如果不做这个对照实验，教练随口一说“这个有用”，你根本无从判断是真有用还是教练自己瞎编的。如果不设置对照组，重放结果提升了也不知道是技能起作用还是本来这个任务今天就运气好。
有了重放增益，RSIPO拿它做两件事。
第一件事是奖励技能生成本身。
技能写得好不好，直接决定了重放增益是正是负。如果某个技能的重放增益比同类型任务的平均水平还高，就给写这个技能的那次输出一个正奖励；如果比平均水平还低，就给负奖励。这样一来，技能生成这件事就有了明确的、来自真实效果的反馈信号，而不是凭空训练一个和当下任务脱节的生成器。
这里有个细节值得注意，论文对无效技能（格式不对的）直接扣分，这是为了防止模型为了拿分而写一些语法混乱、根本没法用的东西。
第二件事是动态调整对老师的信任度。
这一步用到了一个统计学方法，叫经验贝叶斯收缩。
经验贝叶斯收缩：当某个任务的重放增益样本太少、噪声太大时，把这个估计值朝着同类任务的整体平均水平拉一拉，让估计更稳定可靠，不至于被偶然的运气左右。
为什么要收缩？因为重放只跑了4次，样本太小，难免有运气成分。如果某次重放刚好4次全中，直接把这个数字当成“真实增益”去指导后续训练，风险很大，万一这只是巧合呢？
论文的做法是，把同一类型任务（比如ALFWorld里的“捡两件物品放进柜子”这类任务）在训练过程中反复出现的增益值收集起来，算出这个类型任务的平均增益和真实的波动范围。然后对单个任务的增益值做一个加权平均：如果这个任务本身的噪声小、样本可信，就多信它自己的数字；如果噪声很大、数据不稳定，就多往整体平均值上靠。
这就像评价一个新开的餐馆好不好吃，不能只看一条评论，哪怕这条评论写得很详细。要把这家餐馆同类菜系的历史评分综合进来参考，如果这家店的评分样本足够多、足够稳定，就相信店本身的评分；如果样本太少，就得多参考同类餐馆的平均水准。如果不这样处理，一条极端评论（无论是刷好评还是故意抹黑）就能完全左右你的判断。
收缩之后得到的这个“更靠谱的增益估计”，被转换成一个信任系数，用来给OPSD分支里每个词的蒸馏损失做加权。公式很直观：如果老师这次表现明显比学生好，信任系数就调高，蒸馏信号被放大，意味着多听老师的；如果老师这次反而比学生差，信任系数会被压低，甚至直接清零，相当于关掉这次的蒸馏信号，不让学生被一个不靠谱的老师带偏。
这整套设计，本质上是把“到底该不该信这次老师的话”这件事量化出来了，而不是像以前那样无条件地让学生永远相信老师。
从数字上看效果
论文在两类任务上做了测试。一类是ALFWorld，一个模拟居家环境里完成具体任务（比如把苹果放进冰箱）的测试平台；另一类是搜索类任务，一共用了七个数据集，包括NQ、TriviaQA、HotpotQA等等，考察AI能不能通过多次搜索来准确回答问题。
用Qwen2.5-7B这个模型做底座，RSIPO在ALFWorld上拿到了98.6%的平均成功率，比第二好的方法SEED高出2.5个百分点，比最朴素的GRPO方法高出整整17.4个百分点。
在Qwen2.5-3B和Qwen3-1.7B两个相对更小的模型上，RSIPO同样是表现最好的，分别拿到95.7%和95.0%的成功率，比GRPO分别高出20.7和48.9个百分点。注意Qwen3-1.7B这个数字特别夸张，几乎是接近翻倍的提升,说明小模型在这类任务上原本的瓶颈更明显,而RSIPO这套机制恰好弥补了这个短板。
搜索类任务上的提升幅度相对小一些，RSIPO在Qwen2.5-7B上拿到50.8%的平均准确率，排第一；在Qwen2.5-3B上排第二，只比SEED低了0.4个百分点。论文解释说，这是因为回答问题这件事更依赖搜到的证据本身，而不是程序性的操作技巧，所以技能带来的额外帮助没有在ALFWorld那么明显。这个解释能从数据里得到印证：在搜索类任务上，RSIPO学出来的“信任系数”大多稳定在接近1的位置，说明系统自己也判断出“这个场景里老师没那么重要”,从而没有强行加大蒸馏力度。
还有一个很有意思的结果。有一类方法叫Skill-Prompt星号或Skill-GRPO星号，它们在测试阶段依然会给模型塞入技能提示，相当于考试的时候带小抄进场。而RSIPO在测试阶段完全不提供任何技能提示，纯靠训练阶段学到的东西裸考。结果RSIPO依然打败了这些带小抄的方法，在Qwen2.5-7B上比Skill-GRPO星号高出10.3个百分点。
这说明一件挺有意思的事：技能带来的好处，被真正内化到模型的参数里了，而不是靠外部提示临时抱佛脚。这就好比一个学生平时做题的时候用了很多方法论去理解知识点，到了考场上即便不能翻书，知识已经变成了他自己的本能反应，而另一些学生只会在能看小抄的情况下才答得上来。
拆开来看每个零件的贡献
论文还做了一个很细致的消融实验，把RSIPO拆开，一块一块往基础模型上加，看每一块到底贡献了多少。
基础模型（没训练过的Qwen2.5-3B）成功率只有21.9%。单独加OPSD（也就是只让模型自我蒸馏，不加别的）只提升到28.1%，涨幅很有限。单独用GRPO（标准的强化学习）能冲到75%，说明主干的强化学习信号本身就很重要。GRPO加OPSD结合起来能到81.2%。再加上SFT初始化能到86.4%。
在这个基础上，论文发现动态信任和技能进化这两个新加的模块分别贡献了3.6%和5.6%的提升，最后完整版的RSIPO拿到95.7%。而且论文特意指出，去掉其中任何一个模块，成绩都会掉3.7到5.7个百分点,这说明两个模块不是简单的叠加关系,而是互相配合才能发挥出最大效果,少了谁都不行。
技能本身是怎么进化的
论文还可视化展示了技能内容随训练推进的变化过程，这部分我觉得特别值得细讲，因为它直接证明了“技能和策略协同进化”这件事不是空话。
研究者挑了ALFWorld里一个任务：把两张信用卡放到某个地方。他们按关键词把生成的技能分成三类，程序类（带编号步骤的详细流程）、格式类（讲动作语法该怎么写）、恢复类（怎么处理“什么都没发生”这种报错）。
训练刚开始（第0步，相当于SFT阶段继承下来的初始状态），技能内容大多是格式类和恢复类，比如“确认动作语法再执行”，这时候的重放增益是0，说明这种技能对实际表现没什么帮助。
训练进行到第50步，技能变成了“具体任务规划”，比如“去床头柜找第一张卡，去柜子找第二张卡”，重放增益开始转正，涨到了0.05。
到第100步，技能升级成“任务级流程”，比如“系统性搜索所有可能的位置，依次捡起找到的卡，依次放到柜子里”，增益涨到0.06。
到第150步，技能进一步细化成“流程加前置条件”，比如“在搜索可能位置的同时，先打开关闭的容器再检查里面有没有东西”，增益一下子跳到0.36。
训练到后期的最后45步里，“程序类”技能占到了94%以上，几乎完全取代了早期的格式类和恢复类技能。这组数字连起来看，像是看着一个人从背诵操作手册，慢慢变成了能规划复杂任务路径的老手，而且这个变化过程完全是模型自己摸索出来的，没有人为干预去告诉它“你现在该学更高级的技能了”。
两个真实案例
论文里给了两个具体案例，让抽象的数字有了血肉。
第一个案例是ALFWorld上的“把两个洗手液放进柜子”任务。在学生自己跑的8次尝试里，只有2次成功。研究者发现一个很有意思的现象：所有4次对照组的尝试，都没能找到第二瓶洗手液。细看失败的轨迹会发现，学生把第一瓶放进柜子之后，又把它拿出来了，相当于在原地打转。
而被选中作为“证据”的那次成功轨迹里，学生在第19步的时候，手上还拿着第一瓶，就在垃圾桶里发现了第二瓶，但试了好几次都捡不起来，直到第40步把手里的第一瓶放回柜子，第43步才顺利捡起第二瓶，第45步完成任务。
模型从这次成功经历里提炼出的技能，特别强调了要把垃圾桶也列入搜索范围，并且要确认每次捡起动作真的生效了。带着这个技能重新跑4次重放，全部在18步以内成功，而对照组4次全部失败。重放增益直接拉到0.878，几乎是满分的差距。
第二个案例是搜索类任务，问题是：葡萄牙公主安东尼娅的母亲是什么时候去世的？6次失败的尝试，全都直接搜索“安东尼娅的母亲去世日期”，结果搜到的是另一个同名公主玛丽亚·安东尼娅，答错了日期。而成功的那次轨迹换了个思路：先搜母亲是谁，确认是玛丽亚二世，再专门搜玛丽亚二世的去世日期，一下子就对了。
模型从这次经历里总结出的技能是一句很克制的话：遇到问“某人的亲属”这类问题，先确定亲属的身份，再搜具体属性，而且特意要求不能直接把答案或者具体人名写进技能里。这个设计很细，目的是防止模型靠“偷看答案”这种作弊手段骗取高分，而是真的学到一种可以迁移的解题策略。
这个任务重放之后全部4次答对，对照组只对了1次，增益是0.469。
两条路继续走下去
论文提到了几个前作，值得单独说一说这条研究线是怎么演化过来的。
2026年的SDAR方法，用的是从外部技能库里检索技能，再喂给老师模型。这意味着技能库是固定的、不会随训练变化的。同年的OPID进了一步，用一个外部的分析模型去从完成的任务轨迹里提取技能，相当于雇了个外部顾问来写总结报告，比固定库灵活一些，但技能生成本身还是和学生的训练过程脱节的。
再往前一步是SEED，这是本文反复提到的最强基线，它第一次让模型自己通过监督微调学会写技能，不再依赖外部分析员或固定库。这是个重要的转折点，意味着技能生成这件事第一次由模型自己完成，而不是外包给别人。
但SEED还是留了一个尾巴没解决：技能生成器是提前训练好的，训练完就不再更新了，没法随着强化学习主干的进步而继续进化。RSIPO正是在这个基础上，把“技能生成”也拉进了强化学习的实时循环里，让技能和策略同步成长，这也是为什么论文标题里特意用了“协同进化”这个词。
写在后面
读这篇论文，最触动我的一点其实不是RSIPO本身的技术设计，而是那张展示老师在不同情况下表现好坏的统计图。
研究者很诚实地展示了一个让人意外的现象：技能增强的老师，在学生“半生不熟”的阶段最有用，但在学生完全不会或者已经完全掌握的时候，老师的额外帮助反而没那么大，甚至有一部分情况老师还更差。这个发现本身比RSIPO的解决方案更有普适性,它其实揭示了一个关于“指导”和“教学”的更一般规律：好的指导不是均匀分布的,它只在某个特定的能力窗口里最有价值,窗口之外提供指导甚至可能是负贡献。
这让我想到教育领域里一个经常被讨论的概念,叫“最近发展区”,指的是学习者刚好能够理解但还没完全掌握的那个区间,教学效果在这个区间最好。这篇论文用重放实验的方式,相当于用数据实证了AI训练里同样存在类似的现象,只不过他们没有用这个词,而是直接拿统计数字说话。
另外还有一个细节我觉得值得单独提一下。论文在技能奖励的设计里特意说明，奖励信号rx不做经验贝叶斯收缩，理由是策略梯度信号需要保持无偏性，收缩反而会压制掉本该存在的差异。但信任系数那边却恰恰相反，必须收缩，因为噪声会直接扭曲损失权重。这两个看似矛盾的处理方式放在同一个框架里，其实反映了一个更深的设计哲学：同一个原始信号（重放增益），用在不同的地方，该不该做统计修正，取决于这个信号最终要承担什么角色，而不是一刀切地用同一套规则处理所有信号。这种“具体问题具体对待”的分流处理，比很多论文里简单粗暴的统一公式更让我觉得这是真的有人仔细琢磨过的东西。
论文的局限也写得很坦诚，重放机制需要把任务环境重置到同一个起点才能对比，这意味着这套方法目前只能用在模拟器或者有离线检索语料支持的搜索环境里。如果是真实的网页浏览任务，网页内容会随时变化，没法倒回到完全一样的起点重新跑一次，这套对照实验的基础就不成立了。这是个挺现实的工程约束，论文自己也没回避。
如果技能和策略真的能一直这样协同进化下去，那AI学习一项技能的方式，会不会越来越像人类带新人上手一门手艺的方式，不是先把所有规矩背熟了再上手干活，而是干着干着才慢慢总结出哪些经验真的管用，哪些只是走个过场？
Q&A
Q1：RSIPO是什么？
A：RSIPO全称递归自我提升策略优化，是一种让AI智能体在训练过程中同时进化任务执行能力和自我总结技能能力的强化学习框架，核心是通过轨迹重放来检验技能是否真的有用，并动态调整对自我生成老师的信任程度。
Q2：RSIPO和SEED这类方法最大的区别是什么？
A：SEED的技能生成器是提前用离线数据训练好的，训练完就不再更新，而RSIPO让技能生成能力随着强化学习训练实时进化，并且会评估老师给出的指导是否真的靠谱，不靠谱时会主动降低甚至关闭对老师的信任。
Q3：RSIPO在实际测试中效果如何？
A：在ALFWorld居家任务测试中，用Qwen2.5-7B模型，RSIPO达到98.6%的平均成功率，比最强对比方法SEED高2.5个百分点，比标准GRPO方法高17.4个百分点；在搜索类问答任务上也取得了同类方法中领先或接近最优的表现。
