你让一个AI智能体去玩一个文字冒险游戏,比如ALFWorld里的那种任务:把苹果放进冰箱冷藏。它尝试了一百次,一百次都失败在同一个地方,比如它压根没想到要先打开冰箱门。
这时候你用再聪明的算法去分析这一百次失败的轨迹,能挖出什么新东西吗?
答案是挖不出来。因为这一百条轨迹里根本没出现过"打开冰箱门"这个动作,你没法从不存在的数据里学到它。这就是这篇论文要解决的核心问题。
强化学习的天花板,卡在了"没见过"这三个字上
现在训练AI智能体做长链条任务,主流方法是一类叫做群体强化学习的技术。
**群体强化学习(Group-based RL)**:不用一个单独的价值网络去打分,而是让AI对同一个任务采样很多遍,拿这些尝试互相比较,表现好的就多奖励,表现差的就少奖励,典型代表是GRPO、RLOO这些方法。
这套思路在数学推理这类任务上效果不错,但放到像ALFWorld(家居任务模拟环境)、WebShop(网购模拟环境)这种需要一步步跟环境交互几十次的长链条任务上,问题就暴露出来了。
一局游戏可能要走三四十步才能看到结果,奖励信号又稀疏又延迟,你很难说清楚究竟是哪一步走错了导致最后失败。学术界这几年一直在想办法解决"怎么把功劳和过错分配到具体的某一步"这个问题,出现了GiGPO、HGPO、GraphGPO这些改进方法,它们在怎么比较、怎么算信用这件事上越做越精细。
但这篇论文的作者看到了一个更根本的瓶颈:这些方法再精细,也只能在已经采样到的轨迹里面做文章。
如果智能体采样的所有轨迹都没有触碰到正确的行为,这些高级的信用分配技术就像一个特别擅长批改作文的老师,面对一个学生交上来的全是跑题作文,老师能做的最多是给这些跑题作文排个名次,却没办法凭空教会学生怎么写对题目。
这其实不是算法不够聪明的问题,是数据本身没给它机会学。
那么解决思路是什么呢?让一个"老师"在关键时刻亲自下场示范。
**在线蒸馏(OPD, On-Policy Distillation)**:让一个更强的教师模型在学生模型实际遇到的那些状态上给出示范动作,而不是让学生在教师已经准备好的固定数据集上学,这样教出来的东西更贴合学生真正会遇到的场景。
这个思路已经有不少改进版本,有的研究会把教师的指导延伸到好几步,有的会用后续的策略尝试去验证这次指导到底有没有用。但作者注意到一件事,这些方法的监督信号,始终盯着的是教师给出的那一个纠正动作,或者教师写的一段示范前缀,又或者是这次干预带来的最终结果。
它们没有真正把教师接管之后发生的那整个过程学进去。
这个区别乍一看很细微,但在交互式环境里其实很要命。你想,如果智能体在某一步做错了,教师纠正了这一步,那下一步看到的环境画面就彻底变了,之前智能体自己走的那条老路完全用不上了。教师纠正之后会发生什么,智能体要怎么应对这个新局面,这些才是真正有价值的信息,但现有方法大多没有把这部分学进去。
这就是SERO要补上的那一块。
让"老师"接管后,把整条新路都走一遍
SERO全称是State-Rooted Executable Rollout Optimization(状态根植可执行回滚优化),这个名字听起来拗口,拆开看其实逻辑很直白。
它的做法分三步。第一步,智能体正常跑它的任务,产生一堆轨迹,这些轨迹正常拿去训练基础的强化学习目标,这部分完全不动。第二步,从这些轨迹里挑一个智能体真实到达过的某个状态,把游戏环境恢复到那个节点(就像游戏存档读档一样),然后让一个只在训练时出现的、训练专用的"神谕"(oracle,一个知道正确答案的规则化专家或者规划器)接管,让它在真实环境里继续往下走好几步,而不是只给一个动作就结束。第三步,把这个神谕走出来的完整路径,当成新的学习素材喂给模型。
**神谕(Oracle)**:训练阶段才会出现的一个特权专家,它能拿到普通策略拿不到的额外信息(比如ALFWorld里的专家规划器知道任务的标准解法),只在训练时帮忙生成正确示范,推理阶段完全不会用到它。
这里的关键设计是,神谕的每一步动作都要真实地在环境里执行。为什么这点很重要?
你可以这样想象:假设你在教一个刚学开车的人倒车入库,他方向盘打早了,车已经歪了。如果你只是在旁边说一句"这里应该往左打半圈",然后就不管了,他学到的只是那一瞬间的修正。但如果你干脆接过方向盘,把车真的倒进去,整个过程里车身角度怎么变、什么时候该回正、什么时候该踩刹车,这一整套连续的反应,才是真正有用的驾驶经验。只纠正一个瞬间的动作,和真实地把整条路走完,信息量完全不是一个量级。如果SERO只学神谕给出的第一个纠正动作,而不执行后续的连锁反应,那后面那些因为这个纠正而改变的观察和决策,就全都学不到,纠正的长期价值就被浪费了。
论文里专门做了实验验证这一点,只学第一步纠正动作的版本(Root-only),在ALFWorld上的成功率不但没有提升,反而比不加任何干预的基线还低了2.87到4.17个百分点。而学完整连续路径的版本,成功率直接涨了7个百分点以上。这说明光给一次性的纠正根本不够,得让智能体看到纠正之后的整条后续剧情。
越往后的步骤,越要打个折扣
不过事情没这么简单。神谕接管之后走的每一步,虽然在环境里都是真实可执行的,但这不代表每一步对当前的智能体都同等有用。
你想,神谕接管的第一步,是智能体自己真实走到的那个起点,这一步的参考价值毋庸置疑。但再往后走几步,这些状态是神谕按照自己的"正确答案"规划出来的,智能体现在的能力未必能跟上。打个比方,你让一个刚开始学做菜的人照着一份米其林大厨的详细菜谱做一道复杂的菜,第一步切菜他能跟上,但是到了后面需要精确控温、分毫不差地调味的步骤,他现在的水平根本模仿不来,这时候你还硬逼着他按菜谱的每一个细节死记硬背,反而会让他学得很混乱,因为这些步骤离他现有的能力太远了,与其说是学习,不如说是在硬塞一套他根本执行不了的流程。
如果对每一步都给一样重的学习权重,深层的步骤就会把训练搅乱,因为智能体压根做不到跟上那么远的指令。SERO引入了一个叫做策略可达性加权的机制来解决这个问题。
**策略可达性加权(Policy-Reachability Weighting)**:用一个冻结住的、不再更新的旧策略去给神谕走的每一步动作打分,看这个旧策略有多大概率会说出和神谕一样的话,然后把这个分数一路乘下去,越往后的步骤,前面所有步骤的分数都要连乘进去,分数自然会越变越小。
具体来说,第一步的权重永远是1,往后每一步的权重等于前面所有步骤的兼容度连续相乘。如果前面某一步旧策略完全说不出神谕那样的话,那后面所有步骤的权重都会被这一步拖累,变得很小,相当于自动把那些"智能体现在根本够不着"的深层步骤的学习力度调低了。
论文里还专门做了实验检验这个连乘机制是不是真的有用,而不只是走个形式。他们把同一批神谕路径固定下来,只是把权重的分配规则打乱重排(权重的数值还是那一套,但位置对不上了),结果ALFWorld的成功率从88.02%掉到了85.16%,未见过的新任务上更是从85.94%掉到了80.73%,跌了超过5个百分点。这说明权重不是随便分配一点递减就行,它必须真正对应到每一步的可达性上,错位分配带来的伤害非常明显。
另外论文还发现一个挺有意思的现象,如果只看神谕某一步动作本身跟旧策略的局部兼容度,这个数字其实上下波动得很厉害,有时候隔了好几步还能保持很高。但是一旦把这个连乘的"前缀可达性"算出来,曲线就变得很清晰:训练早期(比如第10步)权重衰减得特别快,意味着神谕能有效教的范围很短;训练到后期(比如第140步)权重能保持住更长一段距离,说明智能体自己也在变强,能跟上神谕走得更远了。这个随训练进程自动延伸监督范围的特性,正是设计这套连乘机制想要达到的效果。
不是每次接管都值得学,还得看结果好不好
光有可达性还不够,SERO还加了一道关卡,叫做改进门控(Improvement Gate),用来判断神谕这次接管到底值不值得学。
具体做法是,比较同一个起点下,智能体自己原本走下去的结果,和神谕接管后走出来的结果,哪个更好。只有当神谕的路径确实比智能体自己瞎走出来的结果更优,这条路径才会被纳入训练,而且改进的幅度越大,这条路径获得的整体权重也越大。
这个设计其实是在防止一种情况,就是万一神谕接管后也没走出什么好结果(比如它恰好也卡在了某个环境特有的坑里),那这条路径就不该被当作正面教材硬塞给模型。
最终,整个SERO的训练目标是把这三层东西叠在一起:改进门控决定这条神谕路径整体值不值得学,前缀可达性权重决定每一步该给多大的学习力度,再乘以这一步动作本身的监督损失。这个损失是作为一个额外的辅助项加到原本的强化学习损失上的,原来的奖励、优势值、策略比率这些计算方式完全不受影响。也就是说SERO不是替换掉原有的训练框架,而是在旁边加了一条新的学习通道。
实验结果:数字说话
论文在ALFWorld和WebShop两个基准上做了测试,用的是Qwen2.5的1.5B和7B两种规模的模型,分别叠加到GraphGPO和HGPO这两种现有的先进训练方法上。
下面这张表是核心结果,重点看加了SERO之后的变化。
| 模型规模 | 方法 | ALFWorld 已见任务成功率 | ALFWorld 未见任务成功率 | WebShop 任务分数 | WebShop 严格成功率 |
|---|---|---|---|---|---|
| 1.5B | GraphGPO | 90.63 | 88.02 | 87.27 | 77.93 |
| 1.5B | GraphGPO + SERO | **95.83** | **91.67** | **88.90** | **79.27** |
| 1.5B | HGPO | 92.19 | 87.24 | 87.80 | 73.70 |
| 1.5B | HGPO + SERO | **94.53** | **90.10** | **88.43** | **77.47** |
| 7B | GraphGPO | 91.67 | 76.30 | 89.77 | 80.47 |
| 7B | GraphGPO + SERO | **95.57** | **87.50** | **91.93** | **83.67** |
| 7B | HGPO | 94.01 | 90.89 | 87.83 | 74.47 |
| 7B | HGPO + SERO | **94.53** | **91.41** | **87.63** | **79.63** |
最亮眼的一个数字出现在7B模型的GraphGPO上,未见过的任务(也就是训练时没碰到过的新场景)成功率从76.30%直接跳到87.50%,涨了11.2个百分点。这个幅度在这类基准测试里不算小,说明SERO带来的提升不只是把见过的题型做得更熟练,而是真的提升了泛化到陌生任务的能力。
这件事背后的逻辑也说得通:神谕能够带着智能体走到一些它自己从没探索过的状态,这些新状态天然就增加了训练数据的覆盖面,智能体见过的场景类型变多了,遇到新任务的时候自然更从容。
论文还做了细致的拆解实验,把"只学第一步纠正"、"学完整路径但权重平均分配"、"学完整路径且用可达性加权"这三种做法放在一起比。结果显示,只学第一步纠正这种做法甚至会拖累表现,完整路径加均匀权重已经能带来明显提升,而加上可达性加权之后,在未见过的任务上还能再多涨3.39个百分点。这组对照清楚地说明了两件事都重要:既要学完整的后续剧情,也不能对每一步都平均用力。
研究者还做了一些控制实验来排除干扰因素,比如专门测试是不是单纯多跑了几次环境交互就能带来这个提升,结果发现即使给基线方法额外补上15步的探索量去匹配SERO多出来的交互次数,基线依然追不上SERO的表现,这说明提升确实来自神谕示范本身,而不是单纯的训练算力堆上去了。
写在后面
读这篇论文的时候,有一个细节让我反复琢磨:为什么研究者没有选择更简单粗暴的做法,比如让教师的指导覆盖每一步,权重全都一样重?
后来想明白了,这其实触及了一个更普遍的道理,一份高质量的示范,不等于它的每一部分都适合直接照搬。你让一个新手去模仿专家,专家前几步的动作新手大概率跟得上,但专家后面那些建立在深厚经验之上的细微判断,新手照着做只会学个四不像。SERO的可达性加权本质上是在回答一个问题:这份示范里,哪一部分是现在的我真的够得着的。这个问题其实不只是强化学习的问题,任何教学场景里都存在。
还有一点值得多想一步,这篇论文把"教师接管后走出来的路径"和"智能体自己在学的那条路径"放在同一个起点上做对比,这种设计避免了一个很常见的陷阱,就是拿两个起点不一样的东西比较谁更好。很多看似合理的比较,其实都忽略了起点是否公平这件事。
论文也坦承了自己的局限,比如它依赖环境能被精确恢复到某个历史状态,还需要一个现成的专家规则或者规划器充当神谕,这两个前提在很多真实场景里未必能满足。如果换成一个没法存档读档的真实物理环境,或者一个根本没有标准答案的开放式任务,这套方法还能不能用,这是个值得继续追问的问题。
Q&A
Q1:SERO是什么?
A:SERO全称State-Rooted Executable Rollout Optimization,是一种给智能体强化学习加的训练方法,核心是从智能体真实走过的某个状态开始,让训练专用的"神谕"接管并在真实环境里继续走完整条路径,再把这些真实产生的后续动作作为额外监督信号喂给模型,推理阶段完全不用神谕。
Q2:策略可达性加权解决了什么问题?
A:它解决了神谕接管后走出的路径里,深层步骤离智能体现有能力太远、强行学习反而会搅乱训练的问题。做法是用一个冻结的旧策略给神谕每一步动作打兼容度分数,并把前面所有步骤的分数连乘,越往后权重越低,自动降低对智能体暂时够不着的深层步骤的学习力度。
Q3:SERO在实验里效果如何?
A:在ALFWorld和WebShop两个基准、Qwen2.5的1.5B和7B两种规模模型上,SERO叠加到GraphGPO、HGPO后均有提升,7B模型GraphGPO在未见任务上成功率从76.30%提升到87.50%,涨了11.2个百分点,在域外泛化上提升尤其明显。







