Token导航 LogoToken导航

AI 资讯 · InfoQ

大晓吕健勤谈Mundo:为机器人构建试错世界

更新 2026-11-22InfoQ正文 3749字阅读约 12分钟9 张图片

作者 | 青和

编辑 | 四月

随着通用大模型加速向物理世界渗透,具身体系原有的技术分工正在被改写。

上周,OpenAI 撤销独立机器人团队、将研究员并入核心基础模型体系的动作,释放出清晰的行业信号:在模型巨头眼中,物理世界已经成为通用大模型下一步势必攻克的原生场景。一方面,通用基座的认知与规划能力(System 2)持续向下外溢;另一方面,本体厂商把底层运控(System 0)封装成熟后顺势向上延伸——夹在中间的 System 1(技能策略层) 正在承受剧烈的两头挤压。

图片

一个尖锐的拷问随之而来:当通用大模型开始直接接管空间理解与任务规划,独立的世界模型究竟是通向物理智能的必经之路,还是注定被通用基座吞并的过渡产物?

带着这一核心议题,AI 前线与大晓机器人世界模型科学家、南洋理工大学校长讲席教授、MMLab@NTU 主任吕健勤(Chen Change Loy,Cavan)展开了一场深度探讨。作为具身智能领域的国际顶尖学者,吕健勤同时还担任南洋理工大学 S-Lab 副主任,在底层视觉(SRCNN)、大模型提示微调(CoOp)等方向拥有多项奠基性成果,学术引用量超过 14 万次。

图片

在产业一线上,他正牵头构建大晓机器人联合南洋理工大学发布的最新成果——可探索、可物理交互的世界模型 Mundo,深度参与大晓以开悟(Kairos)世界模型为核心的技术体系。

对话中,吕健勤坦言,Astra 等通用大模型展现出的空间理解能力和任务推理能力,已经超出行业预期。但他随即指出,当这些能力被用于真机操作,模型推理成本高、任务探索耗时长的问题也随之暴露。单靠一个超级单体模型直接驱动真机在商业上难以跑通。

基于这一现实困局,大晓放弃了用单一黑盒模型包打天下的幻想,转向 “Scaling by Composition(组合式扩展)”。在酒店服务等商业场景的落地中,Mundo 扮演着“数字练兵场”的角色,将真实环境快速重建为可物理交互的仿真空间,让机器人先在虚拟世界里低成本试错。

图片

外围则打通“通用大模型 + 开悟世界模型”的双脑协同架构,分别承担任务规划与物理推演。最终,再由具身 RSI(递归自我改进)机制吸收真机物理反馈、持续迭代技能,在虚实交替校准中跑通具身的规模化落地。

1 一笔 20 美元的算力账揭开“单体大模型”的具身瓶颈

“我们确实感受到了比较大的冲击。”访谈伊始,吕健勤便毫不讳言地承认,行业此前普遍认为具身智能的许多难题需要漫长周期才能攻克,但随着通用大模型能力的跃迁,大量原本棘手的感知与推理问题已经能够被单一大模型较好地解开。

然而,当研究团队真正把这类模型部署到物理机器人上执行连续任务时,残酷的工程现实很快浮出水面。吕健勤以团队此前研究为例:部分复杂任务可能耗时半小时到 1 个小时,单次任务就可能消耗 2000 万 Token,算力成本直接飙升至 20 美元左右。

“慢”与“贵”,让纯靠一个超级单体大模型包打天下的设想在商业上难以成立。

面对这一瓶颈,吕健勤提出了一个核心的架构判断——Scaling by Composition。与其指望把所有能力硬塞进一个黑盒模型里,不如把复杂问题拆解开,让不同专长的模型各司其职,同时建立起高效的信息互通机制。

这一思路直接映射在大晓机器人的“双脑协同”系统架构中。据吕健勤介绍,大晓将高层的认知推理与底层的物理推演明确解耦,由多个专业组件协同运转:

图片

• 通用模型:作为认知与规划中枢,负责对物理世界进行高层语义理解、逻辑推理与任务规划;

• 世界模型体系(以开悟 Kairos 为核心,Mundo 作为关键仿真组件):开悟世界模型负责对物理世界进行推演与预测;而 Mundo 则是其中专注环境仿真的工具,负责将具体现实场景转化为可自由探索、可编辑、具备物理交互反馈的虚拟“软世界”,承担场景重建与离线策略验证;

• 编排与控制框架(Harness):负责将不同模块串联起来,统筹感知、记忆、技能调用与底层运动控制的衔接。

在吕健勤看来,未来通用模型、具身模型(如 VLA、WAM)与仿真世界模型之间并非谁替代谁的关系,而是处于长期的协同进化之中——先由仿真世界模型构建低成本的交互推演空间,让通用模型在其中充分试错并沉淀出轻量化技能,再交由端侧高效执行。

2 不取代 MuJoCo 要让仿真管线自动化搭建

在外界的常规认知里,新一代世界模型往往被视作传统物理仿真引擎的颠覆者。但吕健勤在对话中主动纠正了这一误解:“Mundo 的价值不在于取代现有的仿真引擎,我们依然依赖 MuJoCo 这类成熟物理引擎来完成底层的力学推演。”

真正卡住传统机器人仿真脖子的,是仿真引擎前端极其繁琐的“人工搭台”过程。吕健勤指出,在没有 Mundo 之前,工程师如果想在 MuJoCo 里训练机器人适应一个真实房间,必须纯手动编写代码搭建环境:桌子摆在哪个坐标、选用什么材质、表面摩擦系数和质量是多少,全部需要人工逐项设定,仅仅搭建一个可用场景往往就要耗费一到两周时间。

Mundo 解决的,正是这条传统管线最前端的环境构建难题,它将三维重建、物理仿真与视频渲染用一套统一的逻辑打通,让真实场景能够更自动化地转化为可交互的虚拟环境。

图片

具体而言,Mundo 这套流程分为三个环节:

  • 首先,让 AI 理解并重建场景。 系统输入真实环境的少量照片或视频后,先通过三维重建技术和多模态模型智能体,识别物体的位置、尺寸及相互关系,生成简化的三维代理(3D Proxy)。模型还会根据视觉信息与已有知识,估计物体的质量、摩擦系数等属性,并将其记录为可编辑的场景代码。

  • 其次,让物理引擎计算交互结果。将写好物理参数的代码直接接入 MuJoCo 引擎,由物理引擎在重力与接触约束下,精确计算推拉、碰撞后的运动轨迹与受力反馈。这样,系统不仅知道物体在哪里,还能模拟施加动作后可能发生什么。

  • 最后,让视频模型还原真实场景。 引入经过 LoRA 微调的视频生成模型,结合三维场景及物体运动状态,将原本粗糙的几何框渲染成逼近真实世界材质、光照的连续交互视频。对于拍摄时未覆盖的区域,模型还会补全必要的视觉细节。

通过这套机制,机器人不必在昂贵的真机上忍受每次半小时的缓慢试错,而是直接被放进 Mundo 生成的虚拟软世界中反复预演“哪里能走、哪里会撞、门该如何拉开”。

吕健勤透露,当机器人在虚拟环境中摸索出成功路径后,大晓的具身 RSI系统会将其固化为一段可复用的代码级 Skill;等到真机实际执行同类任务时,只需像调用函数一样触发该 Skill,原本耗时半小时的操作就能被压缩至几十秒内完成,实现近百倍的执行速度提升。

图片

值得一提的是,当前学术界与工业界在世界模型上存在显著的路线分歧:一派以 Yann LeCun 倡导的 JEPA 架构为代表,主张“隐式路线”,试图通过海量视频训练让神经网络在潜空间(Latent Representation)中自发习得物理规律;另一派则是 Mundo 所选择的“显式模块化路线”。

谈及为何没有走全端到端的隐式路线,吕健勤给出了极具工程师视角的务实判断:“把物理规律直接沉淀进神经网络参数当然是重要的研究方向,但它目前依然是个难以掌控的黑盒——物理常识究竟存在哪一层参数里、仿真穿模后该如何精准修正,全都是悬而未决的难题。

相反,Mundo 把物体属性显式写进代码里,一旦仿真物理表现失真,工程师可以立刻追溯到具体是哪一个摩擦系数或质量参数出了偏差,这种可控性与可调试性对产业落地至关重要。”

图片

目前,大晓已在 Hugging Face 社区公开了 Mundo 的技术博客与方案设计,并计划在近期逐步开源完整代码、模型权重以及模块连接技巧。吕健勤坦言,开源是为了让社区共同推进管线工具的成熟,而大晓真正的商业壁垒,在于结合具体行业场景沉淀下来的自有 Skill 库以及真机调优经验。

比如,在酒店场景的真机实测中,团队基于通用模型 Astra 自主探索出的新操作一旦固化为标准 Skill,单次执行时间便能从 30 分钟缩短至 18.648 秒,效率提升 97 倍。

3 具身 RSI 接力与世界模型的三道槛

练兵场建得再快,终究要接受真实物理世界的检验。在吕健勤看来,Mundo 主要承担前期预训练与策略验证,模型上线前仍然需要在真机数据上完成微调;同时,真机执行暴露出的物理碰撞误差也会回流,反向校准 Mundo 中的环境与力学参数。

图片

吕健勤认为,真机数据未来还可用于反向校准仿真环境。在酒店场景,Mundo 目前已支持建模和离线策略验证。

为攻克现实长尾故障,大晓在双脑协同架构之外引入了具身智能 RSI 路线——系统将复杂任务拆解为细粒度的原子动作,一旦真机执行受挫,具身RSI 机制便会捕获物理失败反馈,驱动模型自主修改底层策略或重编程动作代码,在真实交互中持续迭代技能。

与此同时,吕健勤也坦诚剥开了演示滤镜,直指 Mundo 乃至整个世界模型领域亟待突破的三道现实门槛:1)长时程记忆缺失,2)小物体与柔性形变盲区,3)离线计算耗时仍高。

面对尚在演进中的世界模型赛道,吕健勤最终划下了工程及格线:第一,能否证明自己大幅削减了对昂贵真机示范数据的依赖;第二,能否在真实物理交互中持续积累经验并跨场景泛化。

“归根结底,世界模型最重要的验收节点,就是能不能在自己的机器人本体上真正用起来。”吕健勤说道。

声明:本文为 AI 前线原创,不代表平台观点,也不构成投资建议,未经许可禁止转载。
END
转发,点赞,在看,安排一下?图片
文章标签机器人大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。