Token导航 LogoToken导航

AI 资讯 · 智猩猩

新加坡国立大学等提出REA具身运行框架

更新 2026-11-13智猩猩正文 2505字阅读约 8分钟4 张图片
智猩猩AI整理
论文作者投稿

近日,新加坡国立大学、InfRec Cardinal AI Lab、UCB 等机构的研究者提出具身运行框架 REA,将 Agent、视觉—语言—动作模型(VLA)与代码策略接入同一套调度流程。 

图片

大模型可以理解任务、规划步骤,快速策略可以连续完成动作。但把两者放在一起,机器人不一定就能既想得清楚、又动得顺畅。

如果每执行一段动作就等大脑决策,推理延迟会拖慢控制;如果只在程序报错时求助,又可能错过那些程序正常结束、任务却没有完成的情况。

REA 把交接时机放在了中心:让大脑提前准备、在后台思考,在合适的策略边界参与决策。


在 LIBERO-Pro 的 3,000 次测试中,基于路由记忆的 REA 达到 95.9% 成功率,相比最强单一方法,每次成功所需控制步数减少约 25%,单次任务控制时间减少约 17%。这套运行框架也进入了 Unitree G1 和 AlohaMini2 真机。

01

大脑在后台思考,

动作可以继续执行

把机器人比作大小脑协作系统,问题很容易理解:大脑擅长处理复杂目标,小脑擅长快速执行,但两者的工作频率并不相同。

论文中的阻塞式 advisor 平均每个任务只调用 1.7 次,机器人仍有 2.62 秒在等大脑,占控制时间的 20%。调用不频繁,也可能形成明显的等待。

REA 在两者之间加入路由器 Router,将系统分成推理、调度和执行三层。

System 2 负责推理,可以提前生成候选策略,也可以在线分析观察、给出建议。System 1 负责选策略、切换和停止。System 0 则保留 VLA、代码程序或全身控制器各自的执行方式。

图片

三层在约定好的策略边界交接。这个边界可以是一段 VLA 动作块结束、一段运动区间结束,或一次程序返回。

同步模式在策略返回后做判断;异步模式让大脑推理与动作执行并行。新建议准备好后,再由 Router 在下一个边界应用。

正在执行的策略,不必停下来等待大脑。推理可以帮助后续行动,动作也能维持自己的节奏。不同小脑由此能够通过同一套交接机制协作。

02

会选策略,

还要知道任务做成没有    

Router 首先要回答的是,当前任务交给谁。REA 提前记录各候选在独立开发集上的成功率与平均步数,形成路由记忆。

执行时优先选择成功率更高的策略;成功率相同,再选步数更少的策略。这样,开发阶段积累的经验可以直接参与调度。

这利用了一个常被总分掩盖的事实:平均成绩最好的方法,也未必最擅长每一个任务。把各自擅长的任务交给不同策略,已有能力就可能得到更充分的利用。

选完以后,还需要判断任务是否真的完成。

例如打开炉灶,机械臂伸出、转动、收回,程序正常结束,旋钮却仍然关闭。在 ASPIRE 策略池的 590 次测试中,异常触发路由只升级了 6 次,实际失败却有 166 次。

REA 为此在策略返回后引入视觉 Judge,比较任务开始时与当前的画面。判断完成,Router 就停止;判断未完成,则从当前状态继续尝试下一段候选策略。

恢复过程共用同一份时间和控制步数预算。已经完成的任务可以及时停下,没有完成的任务则获得换一种办法的机会。

路由记忆解决“选谁执行”,视觉判断解决“是否继续”。两者分别利用已有经验和当前结果,让调度有了更具体的依据。

03

成功率达到95.9%,

VLA 与代码还能搭配使用

研究团队先在 LIBERO-Pro 的 60 个任务上测试,每个任务使用 50 个测试种子,共 3,000 次。

REA-M 使用路由记忆选择策略,REA-A 则在线询问 Agent,两者都采用异常触发恢复。

REA-M 将成功率从策略池内最强单一方法的 94.7% 提高到 95.9%,每次成功所需步数从 1,343 降到 1,003。相对这一基线,单次任务控制时间减少约 17%。

图片

更有意思的是,不进行在线大脑调用的 REA-M,与 REA-A 达到了相同的 95.9%。

控制时间却从 REA-A 的 11.36 秒降至 9.96 秒。对这组策略库而言,已有经验足以支撑有效选择。

视觉判断的作用在另一组 ASPIRE 策略实验中体现出来:单一 Fix 策略成功率为 66.3%,加入路由记忆与异常触发恢复后为 71.9%,再由视觉判断控制恢复,达到 74.9%。

发现静默失败带来了额外收益,每次成功的墙钟时间也增至异常触发方案的约 2.1 倍。是否调用判断,因而与当前策略库容易出现什么失败有关。

在 RoboTwin 2.0 的独立实验中,研究者进一步把七种 VLA 与代码策略放进共同候选池,在 50 个任务、100 个场景上比较。

这里的选择器读取初始指令、图像和机器人状态,在任务开始时选定策略,整次执行保持不变。多 VLA 路由成功率为 84%,加入代码后提高到 86%,在随机化场景多完成两个任务。

真机上,调度对应的是更具体的动作。Unitree G1 需要走到椅子前并推动它,各方法使用相同模型和底层动作,每种测试 10 次。REA 完成 8 次,Agents SDK、Codex 和 ASPIRE 分别完成 5 次、4 次和 2 次。

AlohaMini2 的方块入盒任务要求放下物体后,夹爪撤回,方块仍在盒内保持稳定。四种 Agent 方法各测试 10 次,REA 完成 10/10;每次允许最多三次抓取尝试,没有固定总时间上限。

图片

另一项独立控制器实验中,REA 在 π0.5 与 Code 之间异步路由,完成次数由 π0.5 单独运行的 3/10 提高到 8/10。两组均有两次抓取失败,放置失败则由五次降为零。

Code 在十次 REA 测试中的五次实际执行,帮助机器人完成了任务后半段。该对照的两组采集于不同日期,REA 平均活跃时间为 128.89 秒,π0.5 为 16.57 秒,组合控制也使用了更多执行时间。

04

让已有能力,

在合适的时刻接上手


REA 展示了大小脑协作中的几种具体分工:经验足够时,快速查询支持选择;出现静默失败时,视觉判断补上结果信息;VLA 与代码各有所长时,统一调度让它们共同完成任务。

机器人能完成什么,既取决于单个策略的能力,也取决于系统何时调用它、何时换一种办法,以及何时确认已经做成。

这套运行框架把这些问题放进了同一个可实现、可比较的流程。研究者可以接入不同 Agent、VLA 与程序策略,继续考察哪些判断值得交给大脑,哪些动作可以持续执行。

当慢速推理能够在合适的边界接上快速控制,机器人就有机会把理解任务与连续行动更好地结合起来。

文章标签机器人智能体

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。