Token导航 LogoToken导航

AI 资讯 · 科技行者

机器人世界模型借动作运动感跨越虚实鸿沟

更新 2026-11-20科技行者正文 5276字阅读约 17分钟

你大概见过这样的视频:机械臂在桌面上抓起一个杯子,动作丝滑得像人。可如果你把这段视频的真实来源翻出来,会发现它根本没在真桌子上拍过,而是模型"想"出来的未来。这件事在机器人研究里已经不算新鲜,真正让人头疼的是另一件:模型想出来的动作,到底靠不靠谱。

先从一个具体的麻烦说起。

假设你训练了一个视频世界模型,输入一张机械臂的初始照片和未来一段动作指令(往左挪 3 厘米、夹爪闭合),它负责画出接下来会发生什么。这种模型叫动作条件世界模型,它的价值很直接:如果它预测得足够准,机器人就能拿它当"沙盘",在脑子里先试一遍动作,再做决策,甚至用它造出大量假数据来训练真正的控制策略。

问题出在,真实的机器人视频太杂了。

同一个抓取任务,换个桌面颜色、换个光照、换个相机角度,画风完全不同。模型要同时学会两件事:一是动作和画面变化之间的因果对应关系(我动,画面就跟着动),二是这些跟动作无关的视觉风格。后者会干扰前者的学习。真实视频里还有大量和动作无关的信息,比如背景里飘过的影子、镜头抖动、物体纹理,这些都在稀释"动作信号"的浓度。

那为什么不用仿真数据呢?

仿真环境里,机器人每一步动作对应的画面变化是精确、干净、可控的。你可以随便生成几十万条轨迹,且每条轨迹的物理都是准的。这看起来是个完美的监督来源。

可它有个致命的缺陷:仿真画面和真实画面长得完全不一样。仿真里的机械臂是光滑的塑料质感,真实里是金属反光加阴影;仿真的背景是纯色,真实的背景是斑驳的桌面。如果你直接拿仿真视频去训练真实模型,它会把大量精力浪费在"模仿仿真的画风"上,而不是学"动作怎么导致画面变化"。

这就引出了这篇论文最核心的一个想法:既然画风对不上,那就绕开画风,只对齐"变化"。

Latent Motion Distillation(潜在运动蒸馏)*:让一个在仿真里训练好的模型当老师,让学生模型在抽象的隐空间里学习"相邻两帧之间的差异",而不是学习具体的画面像素。因为差异抹掉了画风,只留下了运动的骨架。

用一个生活场景来理解这件事。

你想教一个从来没去过西餐厅的朋友怎么用刀叉切牛排。你不会让他照着一张摆盘精美的照片去临摹,因为照片里还有盘子、桌布、蜡烛、背景的灯光,他学到最后可能学会了摆盘而不是切肉。你会怎么做?你让他看一段切肉的动作录像,只看手腕和刀的运动轨迹:切下去、拉回来、再切。这套动作不管是在西餐厅还是路边摊,不管刀是银的还是铁的都一样。

仿真数据就是那个"摆盘精美的照片",它把动作和大量无关的画风绑在一起。而潜在运动蒸馏做的,就是从照片里抽出"手腕和刀的运动轨迹"这个纯运动信息,跳过盘子桌布的干扰。如果不这样做,直接对齐画面像素,会发生什么?论文的消融实验给了答案:用潜变量匹配(对齐画面本身)而不是运动匹配(对齐帧间差异),PSNR 从 24.166 掉到 19.232,LPIPS 从 0.0768 涨到 0.0972,感知相似度明显变差。整整差了 5 分贝的画面质量,相当于每 5 帧里就有 1 帧明显糊了。

这还只是第一步。

第二个麻烦是:就算你蒸馏出了运动先验,仿真预测本身也不完美。老师在仿真里也可能算错。如果你让学生完全依赖老师给的仿真轨迹当参考,学生就会把这些错误也学进去。这就像你抄一个学霸的作业,但他错的那道题你也原样抄了,而且还不知道错在哪。

怎么解决?论文给了一个优雅到有点狡黠的方案:让模型自己学会"什么时候该听老师的,什么时候该自己判断"。

具体做法是两步。第一步,multi-block simulation conditioning(多模块仿真条件注入)*:把仿真预测出的潜在轨迹当作一种"参考建议",注入到模型的每一个 transformer 模块里,这样从头到尾都有运动参考。第二步,也是更妙的地方,condition dropout(条件丢弃)*:训练时,随机地(概率 0.7)给模型看仿真参考,另外 30% 的时候干脆把参考关掉,逼它只靠自己的运动先验去预测。

这招之所以有效,是因为它训练出了模型的两套能力:有参考时怎么用,没参考时怎么独立工作。到了推理阶段,模型就可以自己权衡这两套预测。

这里插入一个术语。Simulation-Conditioning Classifier-Free Guidance(仿真条件无分类器引导)*:推理时同时算两个预测分支,一个带仿真参考、一个不带,然后用一个权重 w 去混合,公式是"最终预测 = 无参考预测 + w × (有参考预测 – 无参考预测)"。当 w=0 就纯靠自己,w=1 就完全听仿真,中间值就是折中。

用生活场景再理解一次。

你装修房子,请了一个设计师给建议。如果你百分之百照做,他一旦判断失误(比如没考虑到你家层高),你就得认栽。如果你完全不听,那你请他干嘛?聪明的做法是:拿到方案后,自己再评估一遍,觉得靠谱的地方多采纳,觉得可疑的地方少采纳。论文里的 w 就是那个"采纳程度"的旋钮。实验显示,w=0.6 的时候 PSNR、SSIM、LPIPS 都是最好的,说明"六分信任、四分独立判断"是最优比例。如果 w=1(全信设计师),FID 虽然最低(24.70),但 PSNR 掉到 24.857;如果 w=0(完全不听),PSNR 只有 24.620。

这里的关键洞察是:仿真参考不是"必须执行的真理",而是"可以使用的情报"。

那怎么在不引入额外模型的前提下同时做到这些事?

论文的答案是:用一个共享参数的模型同时干两件事。同一个学生模型,既能生成仿真域的条件(用它自己的预测作为参考),又能生成真实域的视频。推理时,先用初始观察和动作让模型预测出仿真潜在,把它固定下来当条件,然后去生成真实视频。整个过程只需要这一个学生模型,不需要额外再跑一个仿真世界模型。

用一个类比。你要拍一部"未来城市"的电影,需要用概念图作为视觉参考。有两种做法:一是另外请一个概念设计师专门画图,二是让摄影师本人先随手画几张草图,然后自己参照草图画最终的镜头。第二种显然更省资源,因为草图不用多精确,只要方向对就行。论文就是这个思路:仿真参考不需要完美,粗略的就行。附录里的实验甚至发现,仿真生成步数从 1 步增加到 20 步,对最终效果的影响很小,1 步就够给"运动方向"了。

现在来看数据。

在 BridgeData V2 这个真实机器人数据集上,结果是这样的:

表 1 动作条件视频预测(Bridge 验证集)

模型 | 推理时间(秒) | PSNR↑ | SSIM↑ | FID↓ | FVD↓ | LPIPS↓

带具身预训练:IRASim 25.9秒 / 18.062 / 0.753 / 47.27 / 333.92 / 0.2102

带具身预训练:Cosmos-Predict2.5 20.5秒 / 27.216 / 0.880 / 23.74 / 119.38 / 0.0996

不带具身预训练:Ctrl-World 16.9秒 / 20.928 / 0.761 / 46.67 / 235.57 / 0.1674

不带具身预训练:EnerVerse-AC 16.6秒 / 22.599 / 0.797 / 28.67 / 181.55 / 0.0933

不带具身预训练:Wan2.2-TI2V-5B(SFT) 1.8秒 / 22.751 / 0.838 / 23.97 / 168.71 / 0.0926

不带具身预训练:GeniWorld 4.1秒 / 23.436 / 0.845 / 23.62 / 148.74 / 0.0799

不带具身预训练:SimForcing(本论文) 4.1秒 / 25.077 / 0.858 / 25.21 / 137.49 / 0.0673

在不带具身预训练的组别里,PSNR、SSIM、LPIPS、FVD 四项最佳都是 SimForcing。它的 LPIPS 是 0.0673,比其他所有模型都低,感知相似度最好。对比带具身预训练的 Cosmos-Predict2.5,后者 PSNR 更高(27.216)但慢了大约 5 倍(20.5 秒对 4.1 秒),而 SimForcing 的 LPIPS 反而更好。

消融实验更有意思。

表 2 组件消融(Bridge)

ID | FM | TA | MD | SC | PSNR↑ | SSIM↑ | FID↓ | FVD↓ | LPIPS↓

(a) ? ? ? ? 24.128 0.851 22.03 141.81 0.0751

(b) ? ? ? ? 24.523 0.854 21.52 134.56 0.0702

(c) ? ? ? ? 24.166 0.849 27.46 154.69 0.0768

(d) ? ? ? ? 24.310 0.852 19.18 100.27 0.0769

(e) ? ? ? ? 23.732 0.848 21.83 145.40 0.0772

(f) ? ? ? ? 25.077 0.858 25.21 137.49 0.0673

FM 是联合流匹配,TA 是轨迹增强,MD 是运动蒸馏,SC 是仿真条件。看 (d) 和 (f):加上运动蒸馏后 FVD 从 141.81 降到 100.27;再叠加仿真条件,PSNR 和 SSIM 冲到最高。这说明两个机制是互补的,一个管运动的时序连贯性,一个管预测的视觉准确度。

一个反直觉的地方在这里:加了仿真条件之后,FID 反而上升了(从 19.18 到 25.21)。为什么?因为模型在"追求动作准确"和"追求画面像真实分布"之间做了取舍。运动蒸馏让学生更关注动作驱动的画面变化,牺牲了一部分无关背景的统计真实性。这不是 bug,是设计上的权衡。

再看下游任务的验证。

表 5 LIBERO 成功率(%)

初始化 | Spatial | Object | Goal | Long | 平均

仅动作训练,Wan2.2 基线:88.0 / 95.6 / 82.8 / 64.0 / 82.6

仅动作训练,本论文 WM:89.4 / 95.6 / 92.4 / 79.2 / 89.2↑

无条件训练,Wan2.2:96.4 / 99.6 / 97.6 / 92.2 / 96.5

无条件训练,本论文 WM:97.2 / 99.8 / 98.0 / 94.8 / 97.5↑

视频+动作训练,Wan2.2:99.4 / 98.2 / 98.8 / 95.8 / 98.1

视频+动作训练,本论文 WM:98.6 / 99.8 / 97.8 / 97.4 / 98.4↑

用世界模型预训练的权重去初始化一个 VLA 模型,平均成功率在三种训练设置下全面提升。最显著的提升出现在"仅动作训练"这个最苛刻的场景:从 82.6% 到 89.2%,涨了 6.6 个百分点。细分来看,Goal 任务从 82.8% 涨到 92.4%(涨 9.6 点),Long 任务从 64.0% 涨到 79.2%(涨 15.2 点)。15.2 点意味着什么?意味着原本 10 次里有 3.6 次失败的长任务,现在只剩 2 次失败。

这里有个细节值得单独说:在"仅动作训练"设置里,视频专家是被冻结的,只训练动作专家。也就是说,视觉表征的质量完全靠预训练阶段决定,下游一点微调都做不了。这种情况下成功率还能涨 6.6 点,说明预训练出来的视觉表征本身就携带了对动作有意义的信息,而不是只学会了画好看的画面。

写在后面

读这篇论文时,我被一个细节绊住了。

它用 SAM3 在推理时把机器人的手臂从初始观察里分割出来,只把"机器人自己"喂给模型去生成仿真条件,然后把背景和物体全都排除在外。这个动作很轻,但指向了一个大胆的判断:仿真和真实之间真正能迁移的,可能只有"机器人自身的运动",其他一切(场景、物体、光照)都是噪声。

这让我想到一个有点反常识的事。我们一直以为,让 AI 理解世界需要尽可能多的信息,越多模态越好,越多细节越好。但这项工作给出的信号是相反的:有时候,主动扔掉信息才是关键。扔掉画风、扔掉背景、扔掉物体,只留下"关节怎么动"这一件事,模型反而学得更好了。

那更根本的问题是:当仿真和真实的差异大到一定程度,这种"只对齐运动"的策略还能成立吗?论文用的是 Franka 机械臂和固定桌面场景,如果是移动机器人、是野外环境、是人的动作,运动先验还能这么干净地剥离出来吗?

还有一个实验细节我没有完全想明白:论文发现仿真生成步数从 1 步到 20 步,对最终结果影响很小。作者解释说"粗略的仿真参考就够了"。但为什么够?是因为运动方向的信息本来就少,不需要高分辨率?还是因为 CFG 的权重调节机制会自动弱化粗糙参考的影响?这两种解释都可能成立,但代价完全不同。

或许真正的答案藏在 CFG 那个混合公式里。它允许模型同时持有两种假设,然后在推理时做加权。这种"保留分歧"而不是"提前决断"的做法,可能是整个方法里最耐人寻味的地方。

Q&A

Q1:SimForcing 是什么?

A1:SimForcing 是北京大学团队提出的机器人世界模型框架,核心是用仿真数据训练一个"老师"模型,再通过潜在运动蒸馏把它的运动知识迁移到真实域学生模型,同时用可调节的引导机制控制对仿真预测的依赖程度。

Q2:为什么不能直接用仿真数据训练真实视频模型?

A2:仿真和真实画面在画风上差异太大,包括质感、光照、背景纹理。直接对齐像素会让模型把精力花在模仿画风上,而不是学动作和画面变化的因果关系。论文选择只对齐相邻帧之间的差异,绕开画风干扰。

Q3:SimForcing 对下游机器人控制有什么实际帮助?

A3:用它预训练的世界模型权重去初始化 VLA 模型,LIBERO 基准上的平均成功率从 82.6% 提升到 89.2%。提升最明显的是长时程任务,从 64.0% 涨到 79.2%,说明预训练学到的视觉表征对动作决策有用。

文章标签机器人

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。