
机器人前瞻(公众号:robot_pro)
作者 | 刘俐杉
编辑 | 许丽思
机器人前瞻11月16日报道,近日,MIT韩松团队提出了一种名为Robot-Use RL的机器人强化学习方法,并公布了PEAR后训练引擎。
Robot-Use RL将强化学习应用于仿真环境中的机器人任务,让模型在不断执行任务的过程中,根据任务完成情况获得反馈。
研究团队基于Qwen3.8-27B进行训练。整个过程都在仿真环境中完成,没有使用人工示范数据,让模型通过自主尝试和任务反馈,逐步掌握机器人操作能力。
在LIBERO基准测试中,模型的任务成功率从1.6%提升至74.4%,接近开启最高推理强度时的GPT-6 Astra和GPT-6.1 Sol。
当模型部署在真实双臂机器人上时,结果显示,经过训练的模型取得了60%的任务成功率,而训练前的基础模型成功率为0%。
此外,研究团队还发现,模型在仿真环境中学到的能力,可以迁移到新的机器人、真实物理环境,以及训练过程中从未见过的任务指令上。
在熟悉的场景中,即使任务指令发生变化,模型的任务成功率也有57.4%,而π0.5的成功率只有0.75%。
除了基本操作外,模型原有的通用推理、代码编写和视觉理解能力也没有受到明显影响。
研究团队给了模型一张梵高的《星月夜》图片,它就能控制机械臂在白板上画出这幅画的简单线条;在化学实验中,需要选择一种试剂来检验溶液是否呈碱性,而它能从不同试剂中选出酚酞,并通过颜色变化判断溶液是否呈碱性。

在运行效率上,使用NVFP4权重和DFlash2投机解码器后,模型在单张RTX 5090上的Token解码速度达到每秒221个,在单张GB300 GPU上达到每秒747个。在Apple M5 Max上,结合Splash推理引擎后,解码速度则达到每秒52个。
该论文第一作者Jiaming Tang,是麻省理工学院电子工程与计算机科学系的博士研究生,韩松担任其导师,其研究领域是大型基础模型的高效算法与系统。
Jiaming Tang本科毕业于上海交通大学计算机科学专业(ACM 荣誉班)。大三期间,他还担任了SJTU EPCC实验室本科生研究员,由Jingwen Leng教授指导。
目前,研究团队已经公开了模型、代码以及完整的训练基础设施。
- 技术博客:https://mit-han-lab.github.io/pear-blog/#ref-isola
- Github:https://github.com/mit-han-lab/pear
- 模型权重:https://huggingface.co/collections/mit-han-lab/pear
一、无需人工示范数据,模型通过强化学习自主训练
与传统机器人控制方案不同,该模型操控机器人,不需要额外的任务执行框架。
在每一轮操作中,模型都会获取摄像头画面和机械臂状态,通过思维链进行推理,并以文本形式输出机械臂末端执行器的下一个目标位姿。
逆运动学算法会将目标位姿转换为关节角度,再由机械臂控制器驱动机械臂到达指定位置。
如下图所示,机器人需要拿起桌面上的橡皮擦,它首先需要通过摄像头找到橡皮擦的位置,再确定机械臂的状态,以及应该移动到什么位置。

▲ 机器人操作智能体连续执行最后三轮操作,最终拾起一个橡皮擦。图上方展示了计算机操作智能体,作为对比。
在机械臂执行动作后,模型重新观察画面,判断是否抓取成功,再决定后续动作。
因此,模型必须独立完成一系列任务:从摄像头画面中识别物体,判断如何接近和操作物体,并在动作没有按照预期执行时及时发现问题。
整个过程中没有其他模块介入。
模型不依赖额外的视觉感知工具、抓取规划器或运动规划器,也不使用预先设计好的技能库。
此前每一轮操作的记录都会保留在上下文中。模型可以记住自己观察到的信息和已经执行过的动作,并以此为基础规划下一步操作。
模型完全通过任务是否成功来学习上述能力。研究团队在仿真环境中的机器人任务上使用强化学习进行训练,并将这种方法称为Robot-Use RL。
二、LIBERO任务成功率从1.6%升至74.4%,比肩Astra
传统机器人模仿学习通常需要大量人工示范数据。
但在该研究中,研究团队并未使用人工示范数据,而是让模型直接在仿真环境中执行任务。
在Goal、Spatial 和 Object 三个测试子集上,基础模型Qwen3.8-27B的成功率只有约2%。
这意味着,几乎每次训练尝试(Rollout)都会以失败告终,模型基本无法获得有效的奖励信号。
即便如此,经过148个训练步骤后,模型在这三个测试子集上的训练成功率仍然提升至约70%。
研究团队在这一阶段没有将 LIBERO-Long 纳入训练。
其原因是,基础模型几乎无法完成LIBERO-Long中的任务,强化学习很难从中获得有效的反馈;其次,如果将其作为未参与训练的测试集,可以更清晰地评估模型的迁移能力。
结果显示,在第148个训练步骤时,模型在还没有接受过任何LIBERO-Long训练的情况下,已经取得了39.0%的成功率,而基础模型的成功率只有0.4%。
此时,模型在整个LIBERO基准测试中的成功率已经达到64.0%。
从第149个训练步骤开始,研究团队再将四个测试子集全部加入训练。
此后,模型的成功率继续提升:第184步达到69.5%,第225步达到74.4%。每次提升幅度都在5个百分点左右。

▲左图展示 LIBERO 基准测试的成功率。右图展示强化学习训练过程中,每个训练步骤对应的任务成功率。
这些结果表明,即使基础模型最初的任务成功率非常低,也可以仅通过强化学习将其提升至较高水平。
在这项研究中,模型的任务成功率从1.6%提升到了74.4%,这一成绩已经接近GPT-6.1 Sol在最高推理强度下的76.2%,与GPT-6 Astra的80.6%也相差不远。

三、面对全新任务指令,模型成功率57.4%,π0.5仅为0.75%
尽管模型仅在LIBERO上接受训练,但学到的能力并不局限于训练任务。
当测试场景或任务发生变化时,模型仍能保持较好的鲁棒性,也能够执行训练过程中从未见过的指令。
同时,这些能力还可以迁移到新的基准测试、新的机器人以及真实物理环境中。
研究团队使用LIBERO-Plus和LIBERO-Pro来测试模型的鲁棒性。
这两个基准测试都会对LIBERO中的任务进行不同形式的扰动,而这些变化都没有出现在两个模型的训练数据中。
LIBERO-Plus主要改变模型的观察条件,例如摄像头视角、光照、背景和传感器噪声。
LIBERO-Pro则进一步改变任务目标和物体布局。
在LIBERO-Plus测试中,两个模型的表现下降幅度相近,π0.5下降11.2个百分点,研究团队的模型下降12.2个百分点。

▲两种模型在LIBERO及其两个扰动版本上的任务成功率
但LIBERO-Pro测试中,研究团队的模型同样只下降了约12个百分点,而π0.5的成功率下降了43.6个百分点。
因此,π0.5原本在LIBERO上领先研究团队模型22.5个百分点,但到了 LIBERO-Pro上,反而落后8.8个百分点。
研究团队的模型之所以能在LIBERO-Pro上反超π0.5,主要是因为它能够应对改变机器人实际操作目标的任务扰动。
其中包含两种测试方法:让任务要求发生改变和让物体位置发生改变。
第一,当研究人员保留训练时的场景和初始状态,但给机器人一条新的指令,要求它完成另一项任务时。
π0.5的成功率从LIBERO上的96.9%下降至0.75%,下降了96.2个百分点。
相比之下,研究团队的模型从74.4%下降至57.4%,仅下降17.0个百分点。

▲两种模型在两种任务扰动下的成功率
可以看出,π0.5仍然会在原来的场景中执行训练时学过的任务,而研究团队的模型则能够按照新的指令完成操作。
另一种测试方式是改变物体的位置,但保留原来的任务指令。
这意味着,机器人仍然需要完成同一项任务,只是由于物体位置发生变化,所需的运动轨迹也必须随之改变。
在这一测试中,π0.5 的成功率下降了76.1个百分点,最终为20.8%;研究团队的模型仅下降16.9个百分点,最终达到57.5%。
由此可以看出,π0.5 在训练时学到的运动方式仍然适用时,能够保持较好的表现;但当任务要求机器人改变原有动作时,它的表现就会明显下降。
相比之下,研究团队的模型在不同扰动下的成功率下降了1至17个百分点,但仍然能够按照指令完成任务。
研究团队认为,这反映了模仿示范数据与理解任务并进行推理之间的区别。
研究团队的模型保留了基础模型理解语言指令和场景的能力,而强化学习则进一步教会模型根据理解到的信息采取行动。
四、零样本迁移至真实机器人,模型任务成功率达60%
除了在LIBERO上进行训练和测试,研究团队还将模型放到其他仿真环境和真实世界的机器人上进行测试。
结果显示,模型学到的技能还可以迁移到完全不同的仿真环境和机器人上。
首先是RoboDojo,这是一个不同于LIBERO的仿真环境。
它使用双臂ARX机器人执行任务,而LIBERO使用的是单臂Franka机械臂。
研究团队的模型只在LIBERO上接受过训练,却能在RoboDojo的通用物体抓取任务中取得39.9%的成功率,接近基础模型10.7%的四倍。
在积木对齐任务中,模型的成功率达到17.0%,而基础模型为13.0%。

▲模型迁移能力测试
这说明,模型在LIBERO中学到的能力并不依赖于LIBERO的仿真环境,也不局限于其中使用的机械臂。
此外,研究团队还在第三个仿真基准 RoboLab-120上对模型进行了零样本测试。
RoboLab-120使用搭载Robotiq夹爪的Franka机械臂,执行120种桌面操作任务。每项任务分为三个难度等级,每项任务测试10轮,总计1200轮。
在RoboLab-120的1200轮测试中,研究团队的模型成功率达到37.3%,而基础模型只有5.4%。

▲RoboLab-120的1200轮测试结果
这一成绩与Cosmos3-Nano-Policy的36.8%基本持平,高于π0.5的28.0%、DreamZero的25.7%和GR00T N1.6的7.2%。
在完成仿真训练后,研究团队进一步将模型部署到真实双臂YAM机器人上。
研究团队先使用LIBERO的最终训练模型,再在RoboDojo中使用强化学习训练模型,整个过程仍然在仿真环境中完成。
经过115个训练步骤,通用物体抓取和积木对齐两项任务的训练成功率从约25%提升至约70%。

▲通用物体抓取和积木对齐两项任务的训练成功率
最终模型在RoboDojo的评估中,通用物体抓取的成功率达到71.2%,在积木对齐任务上的成功率达到78.8%。
相比之下,训练之前,这两项任务的成功率分别为39.9%和17.0%。
整个训练过程中,研究团队没有使用任何真实机器人数据,但模型在真实双臂 YAM 机器人上的任务成功率仍然达到60%,而基础模型的成功率为0%。
值得注意的是,即使是仅在LIBERO上训练得到的最终模型,也没有接触过这些测试任务和这款机器人,却仍然取得了23%的任务成功率。

▲真实机器人测试。所有模型均采用 xhigh(最高推理强度)设置。
此外,除了抓取物体和排列积木,研究团队还为模型设计了一些需要知识储备和推理能力的真实机器人任务。

▲图10真实机器人上的推理任务
例如,给模型一张《星月夜》的图片,它就可以在白板上画出这幅画的简单线条版本。
在化学实验中,研究团队要求模型判断一种溶液是否呈碱性。
面对碘和乙醇等试剂,模型选择了酚酞。因为酚酞遇到碱性溶液会变成粉红色。加入酚酞后,溶液也确实变成了粉红色。
这些任务需要模型具备世界知识和推理能力,而这些能力来自其基础模型。
对于这类任务,研究团队会在提示词中详细描述机器人的结构、能力以及具体任务要求。
最后,在该研究中,团队发现即使在机器人任务上进行强化学习,也并没有破坏模型原有的推理、代码和视觉能力。
研究团队在9项基准测试中,使用相同的问题,分别测试训练后的模型和基础模型,并对两者的表现进行配对比较。
结果显示,在9项基准测试中,没有发现模型出现可测量的性能下降。
在运行效率上,研究团队使用最高推理强度来训练模型,通过NVFP4权重和DFlash2投机解码器(Drafter)进行推理加速。
在Inco的Splash推理引擎上,模型在M5 Max芯片上的解码速度达到每秒52Token。
结合研究团队开发的Megakernel后,模型在单张RTX 5090显卡上的解码速度达到每秒221 Token,在单张GB300 GPU上则达到每秒747 Token。
按照每秒747 Token的速度计算,模型在最高推理强度下完成一轮思考,平均需要约4.3秒;在低推理强度下则需要约1.1秒。
因此,推理强度的设置实际上也决定了模型在任务成功率和执行速度之间如何取舍。
研究团队使用的是Inco原始的DFlash2检查点,其平均Token接受长度为3.2个。
团队认为,如果针对自己的模型专门训练一个投机解码器,就有可能进一步提高Token接受长度,从而加快解码速度。
结语:模型泛化能力亮眼,但执行速度仍是考验
总体来看,这项研究尝试将通用推理模型和机器人操作结合起来,让模型通过强化学习,根据任务结果不断调整操作方式,而非依赖人工示范数据来进行学习。
在这个过程中,模型在仿真环境中学到的能力,还可以迁移到新的机器人、真实物理环境,以及训练过程中从未见过的任务指令上。
同时,模型原有的通用推理、代码编写和视觉理解能力也没有受到明显影响。
但研究团队也指出了目前方法存在的不足。
首先,训练规模仍然有限,团队只在RoboDojo的两个任务上完成了后续训练。同时由于团队缺少高质量的分布内数据,并未采用监督微调。
此外,目前机器人执行任务的速度仍然较慢,模型在执行每个动作前,都需要进行较长时间的推理,对机器人本体信息和提示词的依赖较强,自身能力也存在一定局限。







