本文来自微信公众号： 42号电波 ，作者：小波，编辑：大吉，原文标题：《李云竹：世界模型要够可控，才能给机器人做训练和评估 ｜ CoRL 2026》
2026年11月12日上午，机器人学习会议（CoRL）在奥斯汀JW Marriott的Brazos房间举行半日工作坊「机器人需要世界模型吗？」（Do Robots Need World Models?）。
按照工作坊的官方说明，世界模型（world model）指一类预测系统，用来让机器人预判自己的动作会怎样改变环境。争论在于：这种预测结构要不要被显式做出来，以便规划、做反事实推理，并服务于数据效率、安全性和泛化；还是可以被端到端策略（end-to-end policy）吸收进去，由策略把观察和目标直接映射成动作。
哥伦比亚大学计算机科学系助理教授、World Labs的李云竹（Yunzhu Li）是当天最后一场邀请报告的讲者，也是随后辩论的主持人，工作坊列出的第三项动议，正是：显式世界模型为可复现、可扩展的策略评估所必需。
他给报告定的主题，是把世界模型构建成机器人系统训练和评估中可扩展的数据来源。
先说清楚是哪一种模型
李云竹开场先看行业现状：在构建通用机器人上，资本和时间都投入巨大，可其中很多团队做的几乎都是大规模模仿（large-scale imitation）。
说到世界模型和模仿策略的关系，人们把两者都叫作模型：有人说动力学模型（dynamics model）、世界模型，也有人说策略模型（policy model）。他认为，说「模型」时必须非常精确，先讲明指的是哪一种。
世界模型或动力学模型是前向预测：以动作为输入，预测未来。策略是它的逆过程：给定当前状态和想要的结果，求出动作。两类模型都有许多不同的实现，一前一逆，相辅相成。
他说，业界很多人在扩大策略学习的规模，用的仍是模仿。但回看机器人学的历史，真正在实际中运转起来的系统，背后几乎总有一个模型在支撑，比如飞机、火箭、无人机或机器人。它们能动起来、飞起来，是因为有好而精确的模型。即使是足式机器人能四处行走，也是因为有一个足够好的模型。
这个模型不必完美：没有人去模拟雪地，也没有人去模拟灌木丛；靠足够的随机化和仿真到现实的迁移（sim-to-real transfer），就能得到在真实环境中稳健运行的策略。所以李云竹课题组一直花很多精力，思考如何为操作（manipulation）也建出一个足够好的世界模型。
一条从数据到物理的谱系
为操作建模，涉及的不只是物体，不只是机器人，还有机器人与环境的交互。他承认这很难，要面对一个杂乱的世界，但他认为，这不该成为不去尝试的理由。
他们课题组遵循的流程，是把真实环境搬进数字世界，再回到真实场景。数字世界可以用学习来实现，也可以用物理来实现，或者介于两者之间。
他把这和人的直觉联系起来。人有一种直觉模型，能够预测施加某个动作后环境会怎样变化，比如面团会怎样变形。这些模型从来不精确，但仍然可以从中提取有用而重要的信号，用来决定怎么做。
接着他画了一条谱系。一端是纯粹从数据学出来的模型，他举了Genie系列这样非常出色的工作。他认为，对这类模型来说，即使再投入更多数据和算力，整体一致性仍然有问题，复杂、困难的交互尤其如此。
另一端是使用物理。NVIDIA Newton、MuJoCo、Isaac都是在建模环境时使用物理的很好例子，一致性非常好。可要建出一个数字环境，仍然需要环境的完整状态信息，这些信息有时很难拿到，有时根本拿不到。
所以过去多年，他们课题组一直在研究基于图的动力学模型（Graph-Based Neural Dynamics，GBND）：把环境表示成若干节点，以及节点之间的边，用来建模相互作用。他们还有一系列操作可变形物体的工作，比如捏面团。
他提到，这方面的积累写进了去年在《Science Robotics》上发表的一篇综述，回顾了十年来面向机器人操作的基于学习的动力学模型，他是通讯作者。这篇论文的整体结构，是在他博士论文整体结构的基础上搭起来的。他说，这反映出他们在构建这类学习型动力学模型时所看重的东西，以及一些深入的思考。
对照已公开的工作，这篇综述是2025年9月17日发表的《面向机器人操作的基于学习的动力学模型综述》（A review of learning-based dynamics models for robotic manipulation）。
做完这一系列研究后，他们课题组在想下一步：建模更复杂的任务和物体，处理的不只是同质的交互，还有异质的交互，并且扩展到开放环境。
他由此提出一个看数据的角度。为大规模模仿要采集什么？是以动作为条件的机器人交互数据。构建世界模型需要什么？同样是以动作为条件的机器人交互数据。
他认为，如果这些数据只拿来做模仿，是一种浪费。里面有很丰富的信号，可以用来建模型，再用于机器人系统的训练和评估。
物理一侧：仿真里训练，一小时不出错
回到那条谱系，他们课题组非常努力推进的一项工作，是往更偏物理的一侧走：对环境做混合建模（hybrid modeling），对动力学和交互做精确建模。他提到，这项工作是在World Labs推进的。
他认为，这类质量的结果，到目前为止仍是把真实环境搬进仿真所能得到的最好结果之一。无论外观还是动力学，仿真和真实都有很好的对齐。
他放了几段开环回放：同一段预先录好的运动，左边在真实环境里执行，右边在仿真里执行。模型捕捉到了盒子连接处的弹性和塑性，也能复现把板件插进很紧的槽位，仿真里同样是开环的。
除了这种弹塑性的盒子，他们还对线缆建模。他说，真实环境里几乎所有线缆都会弯、会扭，不是一条直线，而他们能够非常精确地建模这种弯折和折痕，在这个框架里仿真与真实对齐得很好。同一个框架也可以用来建模更刚性的物体，比如把管子插进很紧的槽位。由于是在仿真里，还可以很方便地换机器人、换环境、换任务。
他认为仿真的好处在于可控：物体组合、杂物、物理参数、机器人状态、相机，都能单独调。沿着这些维度系统地变化环境，就能系统地覆盖机器人在真实环境里可能遇到的状态。
他展示的结果之一，是一个移动操作策略：完全在仿真里训练，再零样本（zero-shot）迁移到真实环境。他特意强调，训练数据里没有任何真实世界数据，全部是仿真生成的数据。
他料到观众会怀疑这段视频是挑出来的，因为类似的例子大家已经看过太多。所以他们一直坚持证明，可以在真实环境中得到非常稳健的策略：他们录了长达一小时的视频，机器人持续执行任务，没有失败，也没有任何人为帮助。
有人随手把盒子扔到桌上，机器人照样不停地做下去，没有失败。他用这个结果说明，稳健的仿真到现实迁移是做得到的，而且不只是做一个演示。
因为在仿真里做过所需的各种变化，策略对环境光变化也保持稳健：他们改过环境光，也用手电筒照过，策略对这些变化都扛得住。这套框架还用到了实验室里不同类型的机器人上。在桌面操作上，有公差很小的插入和物体操作；也可以用到移动机器人上，比如把水管插进接口，公差同样很小，而他们能够完全靠仿真非常可靠地完成。
用仿真找成功和失败的边界
除了训练策略，他认为另一个很有用的能力是策略评估（policy evaluation）。做评估，真正想知道的是：成功在哪里、失败在哪里，两者的边界在哪里。
为此，他用只在真实数据上训练的策略，做了一个物体交接任务，同时在真实环境和仿真里闭环运行。第一行是真实环境，第二行是仿真。按设计，机器人应该抓住物体的中间部分，因为这里已经接近他们后训练所用数据的边界。
在成功的情形下，仿真和真实的定性表现对得出奇地好。把物体放到后训练分布之外，两边都会失败，而且失败的方式非常相似。这帮助理解仿真如何复现失败模式。
定量上，他说和大家一样，他们也画了相关图：横轴是真实环境中的成功率，纵轴是仿真中的成功率。他称这部分是比较常规的做法。他们又往前走了两步。
第一步，是把仿真环境当作评估引擎，用来挑选检查点（checkpoint）：横轴是训练步数，纵轴是成功率。他给出了π0.5和GR00T N1.6的曲线，可以先在仿真里筛掉大部分检查点，不必都拿到真实环境里测。
第二步，是画出成功与失败的边界。图上前景的大点是真实环境里的评估，这一个任务在真实环境里做了数百次；背景里的小点是仿真评估，做了数千次。仿真和真实吻合得很好，成功与失败之间、能否泛化之间，都出现了非常清楚的边界。
他举例说，如果预算只够再采1,000条演示，该采什么，看这张图就很清楚。而只靠真实环境的评估去画这张图，对做过大规模评估的人来说是很大的负担。他对这些结果非常兴奋。
对照已公开的工作，用仿真评估策略、在不同训练阶段的检查点上看仿真与真实成功率相关性的做法，也见于李云竹参与的《用高斯溅射仿真软体交互，从真实到仿真评估机器人策略》（Real-to-Sim Robot Policy Evaluation with Gaussian Splatting Simulation of Soft-Body Interactions，2025年11月）。
重建和生成合在一起
他提到，前一天，斯坦福大学、World Labs的李飞飞介绍了Atlas，一个能把重建和生成统一起来的世界模型：有观测时是重建，没有观测时是生成，放在类似视频预测的框架里。他说，自己的工作是想它们怎样对机器人有用。
在导航上，随手拍一些大尺度环境的照片，就能做三维重建，得到点云，再逼真地渲染机器人在环境里的运动，以及机器人会看到的相机视角。因为身处数字世界，还能估计外观，并把机器人换到不同环境中。这样就能从一次采集出发，把机器人放进这些数字环境，做大规模的训练和评估。
在操作上，可以从几段随手拍的、机器人做任务的视频出发，用这类模型做新视角合成（novel view synthesis），得到更精确、更完整的状态估计和形状重建。更好的状态估计，让动力学模型的系统辨识（system identification）更准，仿真和真实对得更好。然后再系统地变化配置，生成可扩展的训练和评估数据。
他把这些归为谱系里混合、略偏物理的一侧。
学习一侧：三维世界模型
偏学习的一侧，他也做了很多研究。他介绍了课题组上周发布的一个三维世界模型，三维世界仿真器（3D World Simulator）。它能够学习三维动力学，并对环境做世界建模。
模型以动作为输入，预测触觉信号和点云，也预测普通相机画面。因为是三维的，具有可控性：可以改变场景里的各个实例，拿到必要的几何信息，替换前景、背景和物体，为机器人提供可扩展的训练数据来源。
他展示了实时演示，并说观众可以去课题组的网站自己操作：用鼠标在三维世界里移动机器人，精确地控制它，打开、合上夹爪，模型会在线预测夹爪和布料之间的交互。这种三维表示也能用在很常见的推动任务上，以及理解物体在手指之间的姿态变化，用于在手操作。
他说，模型的流程相当标准：输入进来后，在一个统一的框架里拿到所需的全部信息；在三维数据空间里学动力学模型，再按需要的任意相机视角生成画面。
他说，很多人一说到世界模型，想到的是某种视频生成。他想对此提出挑战，因为他是三维的坚定支持者，他们在做三维。
在他看来，三维空间的一个关键优势就是可控性。这里是他们模型的完整输出。因为在三维空间里，可以很容易地组合不同的仿真组件：加入机械臂的关节结构、加入静态背景，把学习能力和学习预算集中在真正需要精细理解的部分。
正如他刚才提到的，在三维空间里可以控制环境的变化，即插即用地使用神经组件、关节组件和静态组件，全都放在同一个框架里，用于可扩展的经验生成。因为在这个空间里，还能再渲染触觉信号，也能渲染多视角的相机观测。
一个很直接的用途，仍然是评估。他把只在真实数据上训练的策略放进这个模型里运行：第一行是成功的策略，第二行是失败的策略。可以看到，这个模型很善于区分成功的策略和失败的策略。这个三维世界模型也能够给策略提供所需的观测。
除了评估，他们课题组也在做训练：用只来自这个世界模型的数据训练策略。
对照已公开的工作，这一部分与2026年11月3日上传到arXiv的《面向多模态三维世界仿真的混合粒子-体素动力学》（Hybrid Particle-Voxel Dynamics for Multimodal 3D World Simulation）相符。
论文提出三维世界仿真器：用粒子-体素混合自编码器把点云压成三维体素潜变量，以动作为条件预测外观、几何和触觉，可与静态背景、运动学机器人模型组合，并提供浏览器里的交互演示，用于策略训练和评估。第一作者是哥伦比亚大学、加州大学伯克利分校的Jimmy Wang，李云竹是作者之一。
问答：学习路线的优势，以及智能体能做什么
现场有人问：学习型世界模型相比物理仿真的优势在哪里。物理方法也能得到大量图像，精度也不差，学习这一侧的好处究竟是什么。
李云竹回答，他自己在环境的物理建模上做了很多研究，但他仍然不能说，已经有了一个能模拟周围一切的物理仿真器。要按照杂乱的真实世界去实例化一个仿真器，仍然是非常有挑战的任务，即使有了现在这些智能体工具也是如此。
所以他仍然看好这种基于学习、由数据驱动的路线；但李云竹课题组非常强调，这个模型需要尽可能可控。可控性给你变化，可控性给你覆盖，这就是为什么它仍然能支撑对机器人策略的稳健评估和训练。
又有人问：智能体（agent）现在很强，能不能让智能体去控制仿真器和机器人，在环境里试探，做系统辨识，缩小仿真与真实的差距，再训练一个策略？
他说，这是很好的问题。现在李云竹课题组的流程里已经大量使用智能体。比如此前做真实到仿真（real-to-sim）这部分工作时，现在可以用更智能体化的工作流，把这类流程规模化、自动化。
他认为，不必和智能体竞争或对抗，而要和它们一起工作，让它们承担其中的步骤。在他看来，智能体在构建世界模型、验证世界模型、在世界模型里生成数据、再迁回真实环境这些具体环节上，都很有用。
他最后把整场报告收成一句话：世界模型可以作为机器人系统训练和评估的可扩展数据来源。
李云竹这场报告的立场，落在工作坊第三项动议附近：他把世界模型的价值放在为策略提供训练数据和评估上。他的论据有两层。一层是数据：模仿所需的以动作为条件的交互数据，正好也是建世界模型的原料。另一层是可控：只有能单独调光照、物体、机器人和相机，仿真才能系统地覆盖状态，评估才能画出成功和失败的边界。
他也承认两端各有短板：纯学习的模型整体一致性还有问题，物理仿真器又还模拟不了一切。他给出的方向，是三维、可组合、可控的世界模型。
他展示的结果里，纯仿真训练的策略连续一小时不出错，仿真评估与上百次真实评估吻合，这些都建立在精细的真实到仿真建模上。下一步要看的是，偏学习一侧的三维世界模型，在更多物体、更多机器人和更长的任务上，能否给出同样可信的评估结果，让人敢于据此决定下一批数据该采什么。
参考链接：
1.Do Robots Need World Models?（CoRL 2026工作坊官网，2026-11-12）https://do-robots-need-world-models.github.io/
2.A review of learning-based dynamics models for robotic manipulation（《面向机器人操作的基于学习的动力学模型综述》，Science Robotics，2025-09-17）https://www.science.org/doi/10.1126/scirobotics.adt1497
3.Real-to-Sim Robot Policy Evaluation with Gaussian Splatting Simulation of Soft-Body Interactions（《用高斯溅射仿真软体交互，从真实到仿真评估机器人策略》，arXiv:2511.04665）https://arxiv.org/abs/2511.04665
4.Hybrid Particle-Voxel Dynamics for Multimodal 3D World Simulation（三维世界仿真器，arXiv:2611.04492）https://arxiv.org/abs/2611.04492
5.3D World Simulator项目页与交互演示https://jwang771.github.io/3dworldsimulator/
