Token导航 LogoToken导航

AI 资讯 · 科技行者

机器人学会开抽屉后能自主组合动作吗

更新 2026-11-16科技行者正文 5456字阅读约 18分钟

你可能以为,一个机械臂学会了十个单独的动作,自然就能把它们组合起来干一件更复杂的事。这个直觉其实大错特错。

上海交通大学的研究团队做了一个实验,结果让人有点意外。他们先训练一个机器人模型学会各种独立的操作技能,比如开抽屉、拿东西、按按钮,然后让它去完成一些需要连续完成多个动作的复杂任务。结果显示,如果训练数据里包含了这些任务组合的完整示范,机器人在"见过的组合"上能做到40%的成功率。但只要换成没见过的新组合,成功率直接跌到7.7%。

这不是机器人学得不够好,而是它压根没有学会"组合"这件事。它学会的更像是死记硬背的套路,而不是真正理解了技能之间可以灵活拼接。

**这篇论文要回答的核心问题是:机器人到底能不能像人一样,把已经掌握的基本动作自由组合成新任务,而不需要为每一种组合单独教它一遍。**

这个问题听起来简单,但背后藏着一个行业里长期被忽视的陷阱。

两条路线的分野:死记硬背还是真正理解

要让机器人完成"打开抽屉,然后把东西放进去,再关上抽屉"这样的连续任务,业内主要有两条路子。

第一条叫"全指令路线"。

全指令路线:把整个长任务当成一句完整指令直接喂给模型,训练时让它看完整的示范轨迹,从头学到尾。

这条路的优点是直接,训练数据给得越充分,模型表现越好。问题也出在这里。论文作者做的对照实验发现,这类模型在训练时见过的任务组合上成绩不错,能到40%的有序成功率,但是一旦测试集换成新的组合,哪怕只是把同样的两个动作换个顺序,或者从未见过的两个动作拼在一起,成功率就断崖式下跌到个位数。这说明模型学到的不是"技能A之后可以接技能B"这种可迁移的规律,而是死记硬背了"看到这句话就做这套固定动作"。

这就像一个学生做数学题,如果他每次见到的都是同一道题换个数字,他能考高分,但换一道结构完全不同的新题,他就不会了。他记住的是题目的样子,不是解题的方法。如果不正视这个问题,继续堆更多的组合示范数据,模型确实能覆盖更多场景,但永远追不上现实世界里组合的无穷可能性,因为你不可能把每一种排列组合都示范一遍。

第二条路线叫"分层子任务路线",这才是论文真正想深挖的方向。

分层子任务:不把长任务当成一句话硬塞给模型,而是先把它拆解成一串已知的基本动作,比如"开抽屉"加"放东西"加"关抽屉",然后让机器人一步步执行,在合适的时机切换到下一个动作。

这条路的吸引力在于,它完全不需要那些昂贵的"组合任务"示范数据,只需要机器人学会每个基本动作本身,剩下的交给一个调度机制去决定"现在该做哪个动作了"。听起来很美好,但这篇论文最重要的发现之一就是,这条路也没有想象中那么顺畅。

RoboCombine:一把测量组合能力的尺子

为了搞清楚分层路线到底行不行,研究者需要一个干净的测试场地,训练阶段绝对不能让模型看到任何完整的组合任务示范,只能喂给它单独的基本动作数据,然后在测试阶段考它从没见过的组合。

这就是他们提出的 **ROBOCOMBINE** 基准。

ROBOCOMBINE:一个专门用来检验机器人组合能力的测试平台,训练数据只包含孤立的基本动作轨迹,测试时要求机器人完成这些动作的新排列组合,不提供任何组合任务的示范。

在仿真环境里,他们用了50个基本动作训练模型,测试19种从未见过的多阶段组合任务。在真实机器人上,训练了16个基本操作任务,测试13种真实世界的组合任务。每个组合任务由两个按顺序排列的基本指令构成,比如"把杯子放在杯垫上,然后把面包放进篮子",系统要记录机器人是否按正确顺序完成了两个阶段,以及在两个阶段之间的衔接处表现如何。

论文设计了几个关键指标。

有序成功率:两个子任务都按指定顺序完成才算成功的比例。

转换率:在成功完成第一个子任务的前提下,成功完成第二个子任务的比例,专门用来衡量"接力棒"交接得顺不顺畅。

这套指标的巧妙之处在于,它把"整体任务失败"这个模糊的结论拆解成了更细的碎片,到底是第一步没做好,还是第一步做好了但第二步接不上。

HSE:给失败做"CT扫描"的诊断框架

光有测试平台还不够,研究者还需要一套工具来定位失败到底发生在哪个环节。这就是他们提出的第二个核心贡献,**HSE诊断框架**。

HSE(分层子任务执行):一个模型无关的执行框架,把完成一个复杂任务拆解成三个可以独立控制的部分:子任务队列、切换信号、执行每个动作的策略模型。通过固定其中两个部分、只改变第三个部分,研究者可以精确定位是哪个环节出了问题。

具体来说,HSE定义了四种执行模式。第一种叫Pred,队列和切换信号都是模型自己猜的,最贴近真实部署场景。第二种叫Ordered,给出正确的任务顺序,但切换时机还是模型自己判断。第三种叫Oracle,顺序和切换时机都是标准答案给定的,只看执行模型本身行不行。第四种叫Enhanced,在Oracle的基础上换一个更强的执行模型。

这套设计的精妙之处在于对照实验的思路。比较Pred和Ordered的差距,就知道"猜错顺序"造成了多大损失;比较Ordered和Oracle的差距,就知道"切换时机不准"造成了多大损失;比较Oracle和Enhanced的差距,就知道换个更强的模型能改善多少。

这就像医生看一个病人,不能只说"他生病了",得搞清楚是发烧引起的,还是感染引起的,还是免疫系统本身出了问题。如果不做这种拆解,直接看整体任务的成功率,你永远不知道该往哪个方向改进。如果一个团队发现组合任务失败率很高,但不知道问题出在决策环节还是执行环节,很可能会把大量资源投入去优化任务规划算法,结果发现真正的瓶颈其实在底层动作执行上,白白浪费了时间。

关键发现:接力棒交接处最容易掉

用HSE在ROBOCOMBINE上跑了一圈之后,研究者发现了一个意料之外又在情理之中的现象。

即使给机器人提供了标准答案般的任务顺序和切换时机(也就是Oracle模式),很多模型依然完成不了组合任务。问题不在"知不知道该做什么",而在"能不能真的做出来"。

论文用一张配对矩阵图做了细致的分析。他们发现,第一阶段任务完成率很高的情况,不代表第二阶段也能顺利完成。更有意思的是,这种衔接失败是"配对特定"的,同一个下游动作,接在不同的上游动作后面,成功率天差地别。比如同样是要完成"放药瓶"这个动作,如果前面接的是"放鼠标",转换率可能有80%,但如果前面接的是"放风扇",转换率可能只有20%。

研究者把这个问题命名为**起始状态差距**。

起始状态差距:机器人训练一个基本动作时,总是从一个标准的、干净的初始姿态开始练习。但在真实的组合任务里,这个动作其实是从上一个动作做完后留下的"烂摊子"状态开始的,物体的位置可能偏了,机械臂的姿态可能不是最优角度。模型没见过这种开局,自然容易翻车。

这个发现戳破了一个长期被忽视的假设:大家一直以为只要每个基本动作练得足够熟练,拼起来自然没问题。但现实是,每个动作在训练时见到的都是"教科书式的完美开局",到了真实组合场景里,它面对的却是前一个动作随手留下的"歪歪扭扭的开局"。这就好比一个短跑运动员一直在起跑线上练习百米冲刺,突然有一天比赛要求他从接力棒交接的瞬间开始跑,他可能姿势没调整好,步伐乱了,反应慢半拍。不是他跑得不够快,而是他从没在这种"不完美的起点"练习过。如果不解决这个问题,哪怕把每个单项动作训练到99%的完美程度,组合起来依然可能处处卡壳,因为瓶颈根本不在单项能力,而在衔接处的适应性。

PRTI:让动作学会从"烂摊子"里起步

找到病根之后,解决方案其实变得清晰起来。既然问题是模型没见过"不完美的开局",那就让它见识一下。

研究者提出了**PRTI(姿态鲁棒任务初始化)**。

PRTI:一种轻量级的训练策略,不需要收集任何组合任务的完整示范,只需要从已有的单项动作成功轨迹里,截取后半段的状态(这些状态更接近真实衔接时的"烂摊子"状态),把这些状态作为新的训练起点,让模型额外练习从这些非标准状态出发完成任务。

这个方法的巧妙之处在于,它完全没有突破"只用单项动作数据训练"这条底线,数据来源还是那些单项动作的轨迹,只是换了个截取和采样的角度,把末尾那些更贴近真实衔接场景的状态挑出来反复练习。训练时,标准开局的数据和这种"非标准开局"的数据按1比1混合,模型依然只接收单一动作的指令,不涉及任何组合任务的监督信号。

这就像一个外卖骑手,公司原本只在平坦的大马路上训练他骑车送餐,结果实际送餐路线里经常要经过坑坑洼洼的小巷、临时施工的路段。与其指望他在真实送餐过程中现学现卖,不如提前让他在模拟的颠簸路面上多练几圈。他学的还是"骑车送餐"这一件事,但练习的起点变得更贴近真实情况了。如果不这么做,骑手永远只会在理想路况下熟练操作,一旦遇到真实世界的意外状况就手忙脚乱,这恰好对应了论文里提到的,只做"随机扰动"初始状态的对照实验效果远不如PRTI,因为随机扰动的状态往往不符合物理规律,根本不是真实衔接时会出现的场景。

数据说话:效果到底提升了多少

论文给出的数字很有说服力。

在仿真环境的Oracle-HSE设置下,基础模型的有序成功率只有2.63%。加入随机扰动的训练之后,提升到4.21%。加入一个"执行时重置机械臂姿态"的理想化对照方案后,也就是每次切换子任务前先把机械臂恢复到标准姿态,提升到9.47%。而PRTI达到了**18.16%**,转换率更是从基础模型的7.52%提升到39.88%。

这里有个细节值得多说一句。那个"重置机械臂姿态"的方案看似是个捷径,机械臂复位了,起始状态不就标准了吗?但它只能恢复机械臂本身的姿态,物体的位置、接触状态这些由前一个动作造成的真实变化依然保留着。PRTI之所以表现更好,是因为它直接让模型学会了如何应对整个"烂摊子"场景,而不是只解决其中一小部分。而且在真实世界里,让机械臂复位本身还需要一段额外的、可能打乱场景的运动过程,这在实际部署里是要付出代价的。

真实机器人实验的结果也印证了这个结论。研究者在双臂机械人平台上用16个基本任务训练,测试13个真实世界的组合任务,这些组合任务按2到5步不等排列。全指令微调方法在训练时见过的任务组合上表现尚可,平均进度分数0.94,但一遇到完全没见过的新组合,分数骤降到接近0。而采用分层执行加PRTI的方案,在全部19个任务上的平均进度达到0.80,无论是训练时见过的组合、部分重叠的新组合,还是完全陌生的新组合,表现都相当稳定。

研究者还画出了机器人执行过程中进度预测模型打分的变化曲线。在一个五步任务里,先把柿子从中间盘子挪到右边盘子,再开抽屉,放柿子,关抽屉,最后按下停止按钮,可以清楚看到分数在每个阶段内逐渐上升,一旦系统判断当前子任务已经完成并切换到下一个,分数会先回落再重新爬升,像心电图一样起起伏伏。这个曲线本身就是一个很直观的证据,说明这套分层执行框架确实在实时追踪任务的进展,而不是盲目地按固定节奏往前推进。

这篇论文发表于2026年,距离VLA模型(视觉语言动作模型,近几年机器人操作领域的主流技术路线)开始大规模落地只有几年时间。它指出的这个问题其实挺基础,基础到容易被所有人忽略。大家一直在卷更大的模型、更强的基础能力,却很少有人停下来问:这些基础能力拼起来真的能用吗?

写在后面

读完这篇论文,印象最深的不是PRTI这个方法本身,老实说,"用已有数据的末尾段落做额外训练"这个思路并不算特别新颖的技术发明。真正让人停下来思考的是那个"配对矩阵"的实验设计,它用一种近乎笨拙的穷举方式,把"哪个动作接哪个动作容易失败"这件事摊开在桌面上给你看。

这种做法的价值在于,它不满足于一个笼统的成功率数字,而是执着地问"到底是哪里不行"。这种较真的态度,其实比论文提出的具体方法更值得学习。很多时候,一个领域卡住不是因为没有足够聪明的解决方案,而是因为没有人愿意花时间把问题拆解到足够细的颗粒度。

还有一点值得琢磨。论文里提到,模型在"见过的组合"和"没见过的组合"之间的表现差距,本质上暴露的是一个记忆和理解的边界问题。这让人联想到人类学习技能的方式,一个真正掌握了骑自行车的人,换一辆车、换一条路,依然能骑。但如果一个人只是记住了"在这条特定的路上、用这辆特定的车怎么骑",换个场景就会露馅。机器人现在面临的,正是这种"记住了具体套路,而不是掌握了可迁移能力"的尴尬处境。

那么下一个问题是:如果起始状态的差距可以通过数据层面的技巧来缓解,那动作本身的因果逻辑,比如"为什么要先开抽屉再放东西"这种常识性的顺序关系,又该怎么让机器人真正理解,而不是靠一个外部的任务分解模块去硬性指定?

Q&A

Q1:ROBOCOMBINE是什么?

A:ROBOCOMBINE是上海交通大学团队提出的一个基准测试平台,专门用来检验机器人能否把已学会的单独动作组合成从未见过的新任务,训练阶段完全不提供任何组合任务的示范数据。

Q2:起始状态差距具体指什么问题?

A:指机器人训练单个动作时总是从标准、干净的初始状态开始练习,但在真实组合任务中,这个动作其实要从上一个动作做完后留下的不完美状态开始执行,模型没见过这种开局就容易失败。

Q3:PRTI方法是怎么解决问题的,效果如何?

A:PRTI通过从已有单项动作轨迹的后半段截取更贴近真实衔接场景的状态,混入训练数据中,让模型额外学会从非标准状态出发完成任务。在仿真测试中,有序成功率从基础模型的2.63%提升到18.16%,转换率从7.52%提升到39.88%。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。