Token导航 LogoToken导航

Manifold AI登顶RoboDojo智能体榜

更新时间 2026-10-17来源 ZPotentials正文 3874字阅读约 13分钟9 张图片
图片

近日,Manifold AI流形空间登顶机器人学习基准RoboDojo榜单(Agent Track),超越 GPT-6-Astra、英伟达 GR00T-N1.。其 WorldScape R²SI系统超过GPT-6-Astra、英伟达 GR00T-N1.7等模型,位列总榜第一。

图片

三个月前,Manifold AI已发布具备上下文学习(In-Context Learning,ICL)能力的世界动作模型WorldScape Policy 2.0,探索让机器人不重新训练模型,仅通过一次人类示范就完成新任务。随后,Generalist AI和Skild AI也相继官宣了各自具备上下文学习能力的具身模型Gen-1.5 与S1。

图片

随着机器人开始从示范中学习,一个进一步的问题随之出现:执行过程中产生的经验,能否继续推动能力提升?

一次示范解决的是机器人如何适应新任务,执行之后的经验能否留下来,决定了它能否继续改进。

围绕后一个问题,Manifold AI提出了WorldScape R²SI(Recursive Robot Self-Improvement,机器人递归自进化)框架。它通过内外双层Agent系统完成任务复盘、技能修正和经验积累,让有效经验进一步推动机器人模型和系统的双重自我改进。

从WorldScape Policy到R²SI,这家公司正在将示范学习与执行后的改进连接起来。此次登顶 RoboDojo,是这条技术路线交出的一份阶段性答卷。

Manifold AI(流形空间)专注于新一代世界模型与具身智能体研发,技术积累来自清华 FIB 实验室及此前推动世界模型落地的产业团队。世界模型是这家公司技术路线的起点。 在此基础上,公司发布了同时具备移动与操作交互能力的实时通用世界模型 WorldScape,并进一步构建机器人世界动作模型 WorldScape Policy。此次登顶 RoboDojo的 R²SI,则将这条路线延伸到了执行经验驱动的持续改进。

01 登顶背后,两项技术分别解决“怎么学”和“怎么改”

RoboDojo面向机器人操作能力,覆盖双臂操作、长程任务、记忆、泛化和精细操作等维度。系统需要在任务规定的原生动作步数限制内取得有效进展,完成任务的效果与执行效率都会受到检验。

WorldScape R²SI此次登顶,背后有两项核心技术支撑。

一项是ICL:机器人不进行后训练,通过一次人类示范学习新任务。 另一项是R²SI:连接任务执行、经验复盘与技能更新,让机器人在多次执行中持续改进。

两者处理的是机器人进入真实场景时相互关联的问题。新任务出现后,系统需要快速调用已有能力;执行出现偏差后,系统又需要知道该改哪里,并将有效修改保留下来。

最终目标是让机器人更有效地利用已有能力、应对变化,减少遇到新情况时从头探索的需要。

02 三个月前,从一个问题出发:机器人能不能看一遍就会?

今年7月发布WorldScape Policy 2.0时,Manifold AI提出了一个问题:面对新任务,机器人能否不重新训练模型,仅看一遍人类示范就完成任务?

这个问题来自真实世界的日常变化。指令可能模糊,操作物的颜色、形状和位置可能改变,多个任务可能随机组合,环境还可能在执行过程中继续变化。

机器人通常需要额外采集数据,再进行训练或微调,才能适应这些情况。ICL 将人类示范作为上下文,让模型在执行阶段利用示范适应新任务,无须改变模型参数。

WorldScape Policy 2.5,一次示范泛化多种全新任务

在后续的 WorldScape Policy 2.5 中,这种能力被进一步放到动作迁移、技能组合和长程任务中检验。

首先是动作迁移,操作物变了,动作仍然能够复用。

图片

观看印章操作示范后,机器人将“盖章动作”迁移到了不同颜色和形状的新印章,以及不同位置、不同材质的落款页。

这要求模型从示范中提取可以迁移的操作方式,再根据当前物体和环境调整执行。它需要超越对某个物体和固定动作轨迹的简单记忆与模仿。

其次是技能组合,让多个操作阶段衔接起来。

图片

从拿起鞋子到松开鞋带,任务涉及多个连续的操作阶段。机器人需要根据当前观察调整行为,协调各阶段的操作。

单个动作掌握之后,如何根据新的任务要求组织这些动作,仍然是一项独立的能力。前一阶段的执行结果,也会成为后一阶段决策的依据。

第三是零样本学习长任务,让系统记住已经发生了什么。

图片

长程任务的难点在于,前一步的结果会影响后续任务。机器人一旦丢失任务进度,或者没有及时处理环境变化,执行就可能中断。

为管理这些信息,Manifold AI在WorldScape Policy中引入了视觉记忆与事件记忆机制,帮助系统保留环境变化、任务进度等关键信息。

根据 Manifold AI 展示的实验结果,面对预训练中的已知任务,上下文学习模型的表现已显著超过对照 VLA 模型;进一步面对未知任务时,两者的成功率差距甚至达到数倍。

图片
图片

不同训练任务数量ICL/VLA模型成功率对比

03 R²SI:把执行中的经验变成下一次的能力

机器人执行一次任务,会产生大量可以用于改进的信息。

抓取失败,可能需要调整接近方向;推移未达预期,可能需要改变接触高度;任务虽然完成,却耗费了过多动作步数,也意味着策略仍有优化空间。

这些信息如果只停留在单次执行中,下一次任务开始时,机器人仍然可能重复犯错。

在Manifold AI看来,从持续执行中积累经验、提升能力,是支撑具身智能应对真实世界任意任务的一项本质能力。 R²SI 围绕这一问题,将执行、复盘、修正和经验积累组织成一个闭环。

图片

这套系统由内外两层 Agent 构成:内层负责执行,外层负责改进。

内层 Robot Agent 以多视角 RGB 图像、机器人本体状态、任务描述与回合记忆作为上下文进行决策,并通过按任务加载的 Skill 执行任务。

调用 reactive model(WSP)本身也是一项 Skill。加载后,Robot Agent 依据观测调用该模型;模型执行一个动作块后,即交还控制权,Robot Agent 再根据新的观测决定下一步。

外层 Recursion Agent 跨轮次复盘执行记录,修订 Skill,并以 Harness 更新的形式作用于内层。对于使用 reactive model(WSP)的任务,外层还会将执行记录组织为训练数据,训练并更新该模型。

各类更新均须通过测试,才能自动发布并纳入版本管理。 执行产生经验,经验形成修改,修改经过验证后再进入执行,构成了 R²SI 持续改进的基本过程。

  • 从 723 步超预算,到 389 步完成,改进具体发生在哪里?

在RoboDojo的push_T任务中,机械臂需要将T形物体沿桌面推入目标区域,使位置、朝向与接触状态同时满足要求,并在600个原生动作步数内完成任务。该任务不使用reactive model(WSP)。

首轮执行并不顺利。Robot Agent采用的夹持方向与任务不相适配,平移过程中又同步转向,导致物体发生明显偏转。对齐完成后,夹爪一次性释放,再次使物体偏离目标位姿。整轮执行耗用723步,超出预算。

外层Recursion Agent根据执行记录修订Skill,修改落在了三个具体环节:调整夹持方向;将平移与转向解耦,先平移、后分段转向;分阶段释放夹爪,并逐段检查物体是否偏移。

修订版本通过测试后,自动发布至内层Robot Agent。更新后的Skill首次在预算内取得原生满分,耗用596 步。后续迭代又将同一布局下的原生动作步数降至389,较596步下降约35%。

此后,该 Skill冻结,外层停止更新。内层Robot Agent以RGB图像与公开的机器人状态作为观测,在push_T的三种随机布局上自主执行,分别以222、312、256步完成任务,均取得原生满分,且均未超出600步预算。

这个案例展示了R²SI对Skill的改进路径:从失败中定位具体问题,将修改写入技能,再检验更新后的技能能否用于后续执行。

装箱任务则展示了另一条路径,改进进一步进入动作模型。

任务切换至装箱后,外层Recursion Agent为内层加载调用reactive model(WSP)的Skill。Robot Agent依据观测调用该模型,模型执行一个动作块后交还控制权,Robot Agent再依据新观测决定下一步,如此往复。

外层 Recursion Agent 随后将执行记录组织为训练数据,训练 reactive model(WSP),更新后的模型继续供内层调用。该模型既承担执行,也能在外层 Agent 的训练下持续改进。

在这两条路径中,内层通过Skill执行任务,调用reactive model(WSP)是其中一种方式;外层持续改进Skill与reactive model(WSP),让试错经验沉淀为可复用的能力。

R2SI 双层 Agent 任务实例

04 从榜单成绩到通用能力,下一步要看真实场景

回看ICL模型发布后的三个月,WorldScape Policy从2.0探索通过一次示范学习新任务,到2.5探索动作迁移、技能组合与长程执行,Manifold AI持续研究的是机器人如何在复杂操作中利用观察、示范与记忆。

WorldScape R²SI则进一步连接了执行与经验改进:提炼技能、验证修改,并探索Agent与动作模型的协同进化。

这条技术路线的意义,在于让机器人既能利用已有能力适应变化,也能将执行结果转化为后续改进的依据。随着任务持续发生,经验能否积累、改进能否复用,将直接影响机器人在真实场景中的表现。

登顶RoboDojo,是Manifold AI这一系列探索的阶段性成果。下一步,这套从示范学习到递归自进化的技术框架,将在实际落地中接受进一步检验。

文章标签机器人智能体
资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。

继续浏览更多资讯

返回资讯目录

相关资讯

更多