有一件事一直让做机器人研究的人挺纠结的。
你训练一个机器人手臂去抓杯子，最直接的办法是拿一堆"看到什么就做什么"的示范数据喂给它。摄像头看到杯子在左边，手就往左边伸。这套路子简单粗暴,但问题是,机器人只会死记硬背,换个背景、换个光线,它可能就傻了。
于是有人想出一个更聪明的办法：让机器人在动手之前,先在脑子里"预演"一下接下来会发生什么画面,再据此决定怎么动。这类系统被称为世界动作模型
世界动作模型*：一种同时预测未来画面和预测动作的机器人控制模型，简称WAM，训练时不仅让模型学动作，还让它学会"想象"接下来的场景会怎么变化。
这套思路听起来挺美好,机器人不再是瞎子摸象,它有了对世界如何演变的理解。很多论文也确实证明了这一点：这类模型初始化自视频生成大模型，天然带着"世界怎么变化"的先验知识,在陌生环境、少量数据、新任务上都表现得更稳。
但这篇论文提出了一个很扎心的问题:这套"预演未来"的机制,真的需要在机器人实际干活的时候还跑一遍吗?
问题的关键就在这里。生成一段清晰的未来画面,计算成本极高。视频里的信息量远超动作指令的信息量,一帧画面可能对应成百上千个token,而一个动作指令可能就几十个token。如果机器人每做一个动作,都要先完整地"画"出一段未来视频再决定怎么动,那响应速度会慢到没法用在真实场景里的高频闭环控制上。
正因为这个矛盾,业界分裂成了两派。
一派坚持"必须把未来画清楚",这被称为显式世界动作模型
显式WAM*：在推理阶段依然完整地把未来视频一步步去噪成清晰画面，再让动作决策依据这些清晰画面来做的方案。它的代价是每次动作都要跑完整个去噪流程，速度慢。
另一派觉得,既然未来预测主要是训练时的辅助手段,那推理时干脆别画了,直接跳过,这叫潜在世界动作模型
潜在WAM*：训练阶段依然让模型学习预测未来，但推理时完全丢弃未来画面生成这一步，动作决策只依赖当前观察，速度快得多。
这篇论文的作者们干了一件挺实在的事:他们没有站队,而是把两派的说法都摆到同一个擂台上,用完全相同的骨干网络、训练数据和计算预算,做了一次公平对决。结果发现,两边说的都不算错,但都只说了半句话。
在同一个任务上、同样的场景下,潜在世界动作模型和显式世界动作模型的表现几乎一样,差距只有0.9个百分点。这似乎证明了"未来预测只是训练目标,推理时不需要"的说法。
但研究者们没有止步于此。他们意识到,只测同一个任务、同一个场景,根本测不出这套系统真正的价值。机器人的"聪明"不该只体现在它见过的场景里表现好,而应该体现在它没见过的场景里依然靠得住。这才是当初大家愿意花大代价给机器人装上"想象未来"能力的初衷。
于是他们设计了一套三维评估框架,专门去戳这个软肋。
第一维叫环境扰动
环境扰动*：在原有任务不变的前提下，改变背景、光照、摄像机角度、物体摆放位置、加入噪声等外部条件，测试模型是否还能完成任务。
第二维叫数据效率,就是把训练用的示范数据从每个任务四五十条砍到十条甚至五条,看模型还能不能学明白。
第三维叫任务泛化,直接让机器人去做训练时完全没见过的新任务。
这三把尺子量下来,结果就完全不一样了。潜在世界动作模型在环境扰动上落后13.97个百分点,在数据效率上落后8.45个百分点,在任务泛化里差距最夸张,如果给它看一段没有动作标签、只是展示怎么做这个新任务的视频，它只能提高到5.90分，而显式世界动作模型能提高到69.90分，整整差了64个百分点。
这就好比两个学生平时的课堂测验成绩一模一样,但一到期末的综合大考,一个能举一反三,另一个直接懵掉。表面上看不出差别,是因为课堂测验考的都是练过的题型。
这个发现给整篇论文定了调:光看同分布任务的成绩,没法判断一个模型是否真正具备泛化能力。未来建模,是推理阶段的硬性需求,不只是训练时的辅助手段。
那问题来了,既然推理时必须要有未来建模,那是不是意味着必须完整地把未来画面一步步去噪清晰,那份高昂的计算成本就是无法避免的代价?
研究者们又做了一个特别关键的实验,来回答这个问题。
他们拿一个用显式方式训练好的模型,在推理的时候故意"偷工减料"。原本这个模型要跑十步去噪,一步步把模糊的未来画面变清晰,现在他们只让它跑一步、两步、四步、六步、八步不等,剩下的步骤全部跳过,用第一次得到的那个中间结果糊弄到底,权重完全不变,只是改变推理时跑几步。
流时间*：扩散或流匹配模型里描述"噪声程度"的一个数值，从1（纯高斯噪声，完全看不出图像）到0（完全清晰的图像），推理过程就是让这个数值从1慢慢降到0的过程。
按理说,跑得步数越多,未来画面越清晰,机器人应该做得越好。但实验结果完全出乎意料。只跑一步,也就是未来视频token完全停留在纯高斯噪声状态,什么都还没被"画"出来的那一刻,机器人的表现就已经比不用未来建模的方案高出26.44、8.2、13.4、89.8个百分点。而后面剩下的九步去噪,耗费了整套流程绝大部分的计算量,带来的提升却少得可怜,有的场景下甚至是负数。
这说明一件很反直觉的事情：机器人真正需要的,不是一张画得清清楚楚的未来照片,而是这套神经网络在"准备去想象未来"这个动作本身里产生的中间表征。
打个比方,你让一个厨师去做一道从没做过的新菜。你以为他需要先在脑子里把成品的样子想得一清二楚才能下刀。但实际上,真正起作用的,是他一看到食材摆在那儿,大脑立刻调动出来的那种"这些东西大概会怎么组合"的直觉反应。这个反应在他脑子里闪过的那一瞬间就已经完成了,后面他是不是继续闭眼冥想那道菜完工后摆盘长什么样,对他真正下刀切菜的手法没什么帮助。如果不让他有那一瞬间的直觉反应,直接让他照着固定的动作清单机械操作,他反而更容易在没见过的食材面前手忙脚乱。
基于这两个发现,研究者们提出了自己的方案,叫做Simple-WAM。
它的做法说出来其实特别简单。既然实验证明只跑一次、未来视频token停留在纯噪声状态就已经够用了,那就干脆只让视频专家网络跑一次前向传播,未来的部分从头到尾都是高斯噪声,不去噪、不迭代。这个"一次性、纯噪声"的中间表征,会持续给动作决策的每一步提供参考。
这么做带来的直接好处是,推理成本几乎跟"完全不管未来"的潜在世界动作模型一样低,但效果却保留了显式世界动作模型的大部分泛化能力。相当于花了潜在方案的钱,买到了显式方案的效果。
但光改推理这一步还不够。因为原来训练时,模型是在整个去噪时间轴上被均匀训练的,停留在"纯噪声"这一个点的训练样本占比非常少。如果推理时永远只用这一个点,那模型在这一点上其实没被特别训练过,表现自然会打折扣。
所以Simple-WAM还改了训练方式,引入一个混合调度机制：用一个概率p，让未来视频token的流时间有一定概率固定停在1（纯噪声），剩下的概率仍按原来的方式在整条时间轴上随机采样。这样训练出来的网络,既能保留原本视频生成骨干的预训练能力,又能在纯噪声这个特定点上被专门"喂饱"，让它在推理时真正用到的那个点上表现得足够扎实。研究者测试后发现p设为0.5左右效果最稳,设成两个极端反而都不好。
这里必须要提一个反事实实验,特别能说明问题。研究者好奇,是不是随便拿点别的东西塞进那些"未来视频token"的位置就行,比如换成可学习的查询向量,或者干脆全填零。结果这两种替代方案都出现了大幅度的性能下滑,环境扰动下降27.7和22.2个百分点,任务泛化下降86.6和87.4个百分点。原因是视频生成骨干网络在预训练阶段,见过的输入形态就是"带噪声的视频画面",它从没见过纯粹的可学习向量或者一堆零。硬塞进去的东西越偏离它熟悉的输入分布,它越读不懂。
这就像你请了一位常年只看中文书的翻译,你现在塞给他一份密码本让他翻译,他完全无从下手,他真正擅长的是处理那种"看起来乱但确实是同一种语言体系"的文本,哪怕这段文本模糊不清、字迹潦草。高斯噪声之所以管用,恰恰是因为它是这套视频生成网络在预训练阶段天天打交道的那种"糙"输入,而不是凭空造出来的陌生格式。
整套方案在真实数据上跑出来的结果相当亮眼。在LIBERO-Plus这个专门测试环境扰动的基准上，Simple-WAM平均拿到79.5分，显式方案是67.7分,潜在方案只有53.8分。速度方面，Simple-WAM每个动作块耗时74.7毫秒，是显式方案286.9毫秒的3.8倍速度,只比潜在方案的62.0毫秒慢了一点点。
LIBERO*：机器人操作领域一个常用的仿真测试基准，包含空间关系、物体操作、目标达成、长序列操作四大类任务，用来检验策略的迁移能力。
RoboTwin*：一个双臂协同操作的机器人仿真基准，任务需要两只机械臂配合完成，比单臂任务更考验协调能力。
除了仿真环境,论文还在真实机器人上做了实验,用的是双臂机器人平台AgileX Aloha,做了叠碗、收积木、按顺序摆放、按指令顺序移动物体这四个真实任务,还额外测了一个从没训练过的新任务叫"按顺序收纳"。结果和仿真里的趋势基本一致：同分布任务上三种方案差距很小,但一旦引入环境扰动、减少数据、换成新任务,潜在方案立刻掉队,而Simple-WAM始终稳定在高位,在完全没见过的新任务上,如果给它看一段这个新任务的操作视频（不含动作标签），成功率能从2.2%直接跳到87.8%。
这几个数字放在一起看,其实在讲一个挺深刻的道理。大家过去总觉得,想让机器人政策更聪明、更能应付各种意外,就得让它把未来"看"得更清楚,这必然要花更多计算力气。但这篇论文用一系列干净的对照实验证明,机器人真正需要的那部分认知,可能在它刚开始"设想"未来的那一瞬间就已经产生了,继续往下磨那张画面,边际收益微乎其微。
这也提醒我们,很多时候我们以为某个昂贵步骤是"效果的来源",其实只是"效果和昂贵步骤恰好同时发生"，两者并没有必然的因果关系。论文作者也很诚实地承认了自己的局限,他们的所有实验都基于一个50亿参数规模、没有经过大规模具身预训练的骨干网络,这个结论在更大规模模型上是否依然成立,还是个悬而未决的问题。
写在后面
这篇论文最让我意外的地方,不是Simple-WAM这个方法本身有多精巧,而是它揭示出的那个"错位"：视频生成模型追求的视觉清晰度,和动作决策网络真正需要的信息,可能压根不是一回事。我们默认"生成得越逼真越有用",这个假设在这个场景里被结结实实地打破了一次。
另一个值得单独说的细节是环境扰动实验里的一个观察,论文提到显式方案和潜在方案的差距,主要集中在改变摄像机视角、加噪声这类会直接破坏画面内容的扰动上。这说明如果你真的去生成一张清晰的未来画面,那画面本身反而成了一个"可以被扰动破坏的目标",而停留在纯噪声状态的表征,天生就没有这个被破坏的靶子。这个视角挺有意思，有时候"不把话说满"反而是一种稳健性。
论文里还留了一个问题没有细究：如果未来真的有人在更大规模、加了具身预训练的模型上重新做一次这套实验,这个"纯噪声一次前向传播就够了"的结论还能不能站得住,还是说规模越大,那份"清晰的未来画面"反而会重新变得重要。这事儿现在没人知道答案。
Q&A
Q1：世界动作模型是什么？
A：世界动作模型是一种机器人控制模型，训练时同时学习预测未来画面和预测动作，让机器人不仅会动手，还带有对场景变化的理解能力，因此在陌生环境和新任务上通常更稳健。
Q2：Simple-WAM和普通的显式、潜在世界动作模型有什么区别？
A：显式方案要把未来画面一步步去噪到清晰再决策，速度慢；潜在方案直接跳过未来预测，速度快但泛化差；Simple-WAM只让未来画面停在纯噪声状态跑一次，兼顾了速度和泛化能力。
Q3：为什么纯噪声的未来画面也能帮助机器人做决策？
A：论文实验发现，机器人真正受益的是网络刚开始处理未来信息那一瞬间产生的中间表征，而不是最终生成的清晰画面，继续去噪带来的提升很小，甚至有些场景下会下降。
