Token导航 LogoToken导航

AI 资讯 · 科技行者

港中文团队研究机器人长程任务记忆难题

更新 2026-11-16科技行者正文 5743字阅读约 18分钟

你有没有想过,如果让一个机器人去厨房帮你准备早餐,它需要做哪几件事?

拿面包,放进烤面包机,等烤好,再放到盘子里。听起来简单到不值一提,对吧?但如果你把这个任务拆开仔细看,会发现里面藏着一个大坑:机器人得知道自己做到了第几步,得记住哪些东西已经处理过了,还得在场景变化之后依然认得出面包在哪儿、盘子在哪儿。

这篇来自香港中文大学团队的论文,恰恰盯上了这个看起来简单却长期被忽视的问题。他们给自己的系统起了个挺有诗意的名字,叫Orchestra,也就是"管弦乐团"。这个名字本身就暴露了他们的思路:机器人干活这件事,不该是一个模型从头干到尾,而应该像一个乐团一样,有指挥、有分谱、有节奏控制。

**问题到底难在哪**

先说清楚一件事,现在的机器人大脑,专业说法叫VLA模型

**VLA(视觉-语言-动作模型)**:一种能同时处理图像、语言指令并输出机器人动作的人工智能模型,是当前机器人学习领域的主流技术路线

,已经进化得相当厉害了。像π0.5这样的模型,看一眼桌子上的场景,听一句"把苹果放进碗里",就能生成一串精确的机械臂动作。单看这个动作,它做得很好。

问题出在"连续"上。

真实世界里,没人会只让机器人做一件事。你会说"把编号1、2、3的牌子按3、1、2的顺序摆到蓝色垫子上",或者"把图里这几样东西都扔进垃圾桶"。这种指令里藏着顺序、藏着重复判断、藏着对场景变化的持续追踪。机器人做完第一步之后,桌面已经和刚才不一样了,它必须知道现在该干哪件事,而不是重复刚才那一步,也不能跳过某一步没做完就往下走。

论文里引用了一个很扎心的数据作参照:RMBench这个基准测试里,一个叫Mem-0的"记忆增强"方法,平均成功率是42%。而最基础的π0.5模型本身只有10.44%。这意味着什么?意味着在面对需要记忆和顺序管理的任务时,大部分现有方法连一半的任务都做不好,哪怕每一个单独的动作它们都能完成得不错。

这就是论文开头提出的那个系统级问题:一个动作策略,怎么才能执行一整条跨越很长交互序列的用户指令?光靠把动作生成能力做得更强,是解决不了这个问题的。

**把"想"和"做"分开**

Orchestra这篇论文最核心的设计思路,用他们自己的话说叫"让心灵构思,让手去实现"。听起来有点玄,但拆开看其实很朴素:把任务规划这件"动脑子"的事,和动作生成这件"动手"的事,彻底分开成两个独立的系统。

具体来说,整个系统分成两大块。第一块是"构思"部分,接收到用户的完整指令后,一个负责任务编排的智能体会把它拆解成一串有顺序的子任务,并且标注出每个子任务涉及哪些物体。第二块是"实现"部分,一个动作策略模型根据当前要做的子任务去生成具体动作,同时另一个独立训练的进度评估器在旁边实时判断这个子任务做到哪一步了,该不该切换到下一个了。

这两块共享一个叫做"共享上下文"的东西。

**共享执行上下文**:系统维护的一个信息集合,包含当前正在执行的子任务、物体的空间定位信息、以及最近的视觉观测历史,供动作策略和进度评估器共同读取使用

你可以把这个共享上下文想象成一个项目经理桌上永远摆着的那块白板。白板上写着"现在在做第几步"、"这一步要用到的东西放在哪里"、"刚刚发生了什么"。动作执行的人不需要自己去记这些,只要抬头看白板;进度判断的人也不用自己去猜,看白板上记录的就行。如果没有这块白板,会发生什么?答案就是每个人各自凭记忆行事,很快就会出现有人以为还在做第一步,有人已经悄悄跳到第三步的混乱局面。论文的消融实验证实了这一点的分量:去掉任务编排这个模块,平均连续完成子任务数(ASL指标)从7.35骤降到1.502,暴跌将近80%。

这个数字值得停下来感受一下。7.35和1.502之间的差距,不是性能打了个折扣,而是从"能完整执行一长串指令"退化成"刚开头就卡住"。

**物体会跑,记忆得跟着跑**

光知道"现在做第几步"还不够,机器人还得知道"要操作的东西现在在哪儿"。桌上的面包被拿起来之后,原来的位置就空了,机器人如果还按旧的坐标去抓,肯定抓空。

论文用了两个视觉模型来解决这件事,一个叫MolmoPoint-8B,专门负责在图像里把目标物体标出一个点;另一个叫SAM3

**SAM3**:一种图像分割模型,接收点或框作为提示后,能精确勾勒出目标物体的完整轮廓范围

,拿着这个点做进一步的精确轮廓分割。整个流程是,每次切换到新的子任务时,重新用MolmoPoint-8B定位一次目标,然后用SAM3生成精确的分割区域,之后在执行这个子任务的过程中,持续追踪这个区域,物体挪动了,追踪框也跟着挪。

这个设计解决的问题,本质上是"信息会过期"。你如果用的是任务刚开始时拍的那张照片去定位物体,等到动作执行了十几步之后,那张照片早就不准了。这就像你出门前看了一眼手机地图上的路况,但堵车信息是实时变化的,如果你走到一半还死守着出发前看到的那张截图,很可能一头撞进刚刚才形成的拥堵路段。消融实验显示,去掉这套空间定位机制,平均ASL从7.35降到5.814,下降了20.9%,在视觉复杂度更高的任务上(比如"遮盖和揭开方块")影响尤其明显,从5.82直接腰斩到2.81。

**短期记忆:让机器人"记住刚刚发生的事"**

还有一个容易被忽略的细节,机器人光看当前这一帧画面,有时候是不够的。

论文给动作策略加了一个短时间窗口的视觉记忆,技术上叫做时空分离注意力

**时空注意力分离机制**:论文采用的一种视觉编码方式,先在每一帧内部做空间上的特征提取,再在不同帧之间做时间维度上的特征融合,这样既能利用历史画面信息,又不会让传给语言模型的视觉信息量暴增

。每个摄像头取最近6帧画面,帧与帧之间隔3帧的采样间隔,用这几帧一起去理解当前的动态场景,而不是只盯着这一瞬间的静态画面。

这就好比你看一场正在进行的篮球比赛,光看一张定格的照片,你根本判断不出球是正在飞向篮筐还是刚被扔出去。你需要连续看几帧才能判断运动方向和速度。机器人在抓取一个正在被推动或者正在倾倒的物体时,同样需要这种连续感。如果不给它这段短期记忆,会发生什么?实验数据写得很直白:去掉这部分,平均ASL从7.35掉到2.5,下降66%,在"按按钮"这个任务上更是从5.79暴跌到1.28。有意思的是,论文特别强调这套机制没有增加传给语言模型的视觉信息量,256个视觉token的数量和单帧版本完全一样,多出来的计算量都消耗在视觉编码器内部的时序融合上。

**怎么判断该不该换下一步**

现在系统知道该做什么、东西在哪儿、刚刚发生了什么,还差最后一环:怎么判断这一步做完了,该切换到下一步。

这件事交给了一个独立训练的"进度评估器",基于一个叫Gemma-300M的小型语言模型骨架。它接收和动作策略类似的输入(当前子任务、空间信息、最近的视觉历史),输出一个11档的进度分类,从0到10,预测当前子任务进展到了哪个阶段。当预测结果落在第10档(也就是"已完成"这一档)时,系统就触发切换,进入下一个子任务。

**进度评估器**:一个与动作生成模型完全独立、单独训练的小型模型,专门负责判断当前子任务的完成进度,输出11个离散等级的分类结果,用来决定何时切换到下一个子任务

这个设计的巧妙之处在于,把"判断完成"这件事从动作生成模型里剥离出来,单独训练。为什么要这么做?因为动作生成要解决的是"怎么把手移动到正确位置",而完成判断要解决的是"这件事到底完没完",这是两种性质不同的能力,混在一起训练反而互相干扰。论文做了个对照实验,用模拟器里直接读取的真实状态(也就是"上帝视角"的标准答案)替代这个学出来的评估器,结果平均ASL只有7.374,和学出来的评估器的7.35几乎没有差别。这说明这个独立训练出来的进度判断能力,已经逼近了理论上限。

训练这个评估器用的标签也挺聪明,不需要人工去标注"这一帧是不是完成了",而是直接用演示数据里每一帧在整个子任务时间段中的相对位置来自动生成进度标签,越接近子任务结束的帧,进度值越高。研究团队还专门去检查了演示数据里"已经完成"状态的那段画面大概占整个子任务时长的9%到11%,这个比例恰好落在他们设定的终止类别的判定边界之内,说明这套自动标注的逻辑是合理的。

**考验机器人的新考场:RMBench-Compose**

说到这里,必须提一下论文的另一个重要贡献,一个新的评测基准,叫RMBench-Compose。

现有的RMBench基准测试里,每个任务的指令和执行顺序都是固定模板。而真实世界里,指令的长度和顺序千变万化。RMBench-Compose改造了五个仿真环境(按按钮、捡物体、遮盖揭开方块、交换方块、把方块放到垫子上),让系统可以生成长度和顺序可变的任务组合,专门用来检验一件事:机器人只用短小的单步任务训练过,能不能应付长达十几步的组合任务。

这个设计思路本质上是在模拟一种常见的现实落差。你培训一个新员工时,往往是一个任务一个任务单独教的,但上岗之后,他要面对的是一整天连续不断、顺序复杂的工作安排。如果只在"单项技能达标"的层面做考核,根本看不出这个人能不能真正胜任连续工作。论文的数据印证了这种落差有多大:基础版的π0.5模型在单个原子任务上能达到85%的成功率,看起来相当不错,但一旦放到需要连续执行的组合任务里,子任务成功率骤降到47.36%,平均只能连续完成0.932个子任务。单项能力和连续执行能力之间,隔着一道几乎垂直的落差。

而完整的Orchestra系统,在同样85%原子任务成功率基础上(后续优化到95.2%),把平均连续完成数拉到了7.35个,是基础模型的近8倍。

**实验结果说话**

把这些设计拼到一起之后,论文在三个战场上做了检验。

在RMBench这个标准基准上,Orchestra拿到了68.22%的平均成功率,比此前最好的Mem-0方法(42%)高出整整26.22个百分点。细看各个子任务,Orchestra在"观察并拿起物体"上做到81%,而对比方法HarnessVLA只有10%;在"按按钮"任务上做到97%,对比方法只有44%。不过论文也诚实地指出了短板,在"放回方块"这个任务上,Orchestra的81%还是略逊于Mem-0的90%,"交换T形方块"这个任务只拿到10%的成功率。这提醒我们,平均分高不代表每个细分场景都完美,一个系统性的管理框架能大幅提升整体表现,但不能保证消灭所有具体的操作难点。

| 方法类型 | 代表方法 | RMBench平均成功率 |

|---|---|---|

| 基础策略 | π0.5 | 10.44% |

| 双系统记忆模型 | Mem-0 | 42.00% |

| 端到端记忆模型 | MemoryVLA(QwenOFT) | 41.78% |

| 智能体系统 | HarnessVLA | 26.78% |

| 智能体系统 | **Orchestra** | **68.22%** |

在RMBench-Compose上,Orchestra的平均ASL达到7.35个子任务,是对比方法HarnessVLA(2.99)的2.46倍。论文还做了个很细致的对照,把Orchestra的任务编排智能体从默认的DeepSeek换成Qwen3.7-Plus,结果几乎没变化(SSR从86.69%降到85.74%,ASL从7.35降到7.188),这说明整个框架的核心价值不系于某一个具体的大语言模型选择,换个"大脑"效果依然稳健。

真实机器人实验是这篇论文里我最在意的部分,因为仿真环境终究是理想化的。研究团队用一个双臂机器人平台,测试了早餐准备、水果摆盘、数字排序、垃圾桶放置这四个真实场景任务,每个任务跑20次。结果显示,相比使用基础π0.5策略的Orchestra版本,完整版本把平均ASL从2.20提升到2.75,提升了25%。水果摆盘任务上的子任务成功率从77.36%跳到91.22%,提升最明显。

**失败了,但失败在哪儿**

这篇论文有个我很欣赏的地方,它没有回避失败案例,反而专门做了一轮失败分析,追踪了65个真实世界的失败样本,按照五个环节分类统计。

结果很意外,占比最高的失败原因不是任务编排出错,不是物体定位出错,也不是进度判断出错,而是动作执行本身,占到了87.7%。进度估计失败占6.1%,物体定位失败占4.6%,任务编排失败占1.5%,图像分割失败在这次统计里是0%。

这个分布告诉我们一件挺重要的事:这篇论文解决的是"管理"层面的问题,让机器人知道该做什么、按什么顺序做、什么时候切换。但"手够不够稳"这个底层的运动控制问题,这套框架并没有去解决,而且恰恰是当下最大的瓶颈。论文里举的例子也很具体,叉子放置时偏离了预定的方格支架,抓瓶子时姿势不对,抓苹果的时候不小心把苹果碰飞了,放置数字牌的时候牌子倒了。这些都是手眼协调层面的精细问题,不是"知道该干什么"能解决的。

这其实呼应了一个更大的行业现实。管理和执行是两种不同的能力,一个优秀的项目调度系统能让团队协作效率翻倍,但如果团队里每个人的具体业务能力本身就有短板,再好的调度也补不齐那块短板。Orchestra做的是前者,而后者,也就是动作本身的精度,还得靠更强的底层控制模型去啃。

Q&A

Q1:Orchestra解决的核心问题是什么?

A:Orchestra解决的是机器人执行多步骤指令时容易出现的顺序混乱和物体定位失效问题,通过把任务规划和动作生成分离成两个独立系统,让机器人在长序列任务中保持正确的操作顺序,并能持续追踪目标物体的位置变化。

Q2:Orchestra和之前的记忆增强方法Mem-0相比优势在哪?

A:在RMBench基准测试中,Orchestra的平均成功率达到68.22%,比Mem-0的42%高出26.22个百分点。核心区别是Orchestra用独立的任务编排智能体和进度评估器来管理子任务切换,而不是单纯依赖记忆模块。

Q3:RMBench-Compose基准测试是用来干什么的?

A:RMBench-Compose是论文新提出的测试基准,专门用来检验机器人系统只用短小的单步任务训练过后,能不能应付长达十几个子任务的复杂组合指令,衡量的是从单项技能到连续执行能力之间的落差。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。