2026年的机器人实验室里,有一个问题一直让研究者们挠头。
你训练一个机械臂去拿杯子,给它看了无数段视频,告诉它杯子被拿起来之后画面会怎么变化。听起来挺合理对吧?可现实是,同样一次抓取动作,换个摄像头角度拍,画面里杯子移动的像素距离能差出好几倍。你拿着手机从不同角度拍同一个水杯被挪动的过程,画面里杯子"跑"过的像素格数完全不是一回事,但杯子在真实空间里移动的距离明明是一样的。
这就是视频驱动的机器人大脑们正在吃的亏。
**当图像成为一种"失真"的语言**
过去几年,很多所谓的"世界动作模型"(World Action Model,简称 WAM)走的是同一条路:先借助预训练好的视频生成模型,让机器人在脑子里"想象"一下,如果执行某个动作,接下来的画面会变成什么样,再根据这个想象出来的画面去决定具体怎么动手。
世界动作模型:一类同时回答"该怎么动"和"动完世界会变成什么样"的机器人大脑,核心是把动作生成和环境预测绑在一起学习。
这个思路本身没有错,毕竟人类小孩学抓东西,大概率也是靠不断"预判"结果来调整动作的。问题出在用图像去承载这种预判。
论文里举了个很扎心的例子:同一个机械臂动作,同一次物体位移,同一次接触事件,换一个摄像机角度,画面里的像素变化可以完全不同;反过来,两段看起来像素位移相等的视频,背后对应的真实物理距离也可能天差地别。更麻烦的是,不同机器人平台的摄像头安装位置、镜头参数都不一样,这种像素和物理距离之间本就模糊的对应关系,换个机器人就得重新"学"一遍。
已经有研究专门测试过这类基于视频的世界模型,发现它们对视角变化、机器人初始状态变化特别敏感。换句话说,你把摄像头挪个位置,或者机器人起始姿势不一样,模型的预测质量就开始晃荡。甚至有论文观察到,这些模型生成的"预测画面"虽然看着挺逼真,但物体的位移可能被画错了,刚性的物体形状被悄悄"捏变形"了,本该静止的背景区域也开始莫名其妙地漂移。
这背后的根子在于:图像只是三维世界在某个特定视角下的一次"投影"。
投影:把三维空间中的物体信息,压缩映射到二维平面(比如相机传感器)上的过程,这个过程必然丢失深度信息,也必然依赖具体的拍摄角度。
如果一直用投影后的图像去表示世界怎么变化,那动作和场景之间最本质的度量关系,也就是"这个物体到底在物理空间里挪动了多少厘米",其实一直是隐藏着的、模糊的。机器人在金属世界和视觉世界之间,隔着一层毛玻璃。
**把世界拉回三维:UNITAS 的核心思路**
这篇论文提出的 UNITAS,干的第一件事就是把这层毛玻璃捅破。
它的全称是"UNIfied Trajectories for Action and Scene flow"(统一的动作流与场景流轨迹)。核心主张很直接:观察、动作、场景变化,这三样东西都应该放在同一个带着真实刻度的三维坐标系里来表达,而不是分别活在图像、动作指令、未来帧预测这几个互相不通气的空间里。
这就好比你在设计一张城市地图。如果地图上的距离刻度会随着你站的位置变来变去,你站在桥这头量出来的"一公里"和站在桥那头量出来的"一公里"长度还不一样,那这张地图再漂亮也没法用来导航。你需要的是一套固定的、不随视角变化的坐标系统,地图上一厘米永远对应地面上固定的距离,不管你从哪个角度去看这张地图。UNITAS 要做的,就是给机器人的"世界地图"焊死这套统一刻度。
具体来说,论文定义了两种"流":动作流和场景流。
动作流(Action Flow):把人手或机械爪的运动,表示成三维空间里一系列点的位移轨迹,而不是关节角度序列或者像素变化。
场景流(Scene Flow):在给定动作流的前提下,描述环境中其他物体的点会如何位移,同样是三维空间里的轨迹。
这个设计有意思的地方在于,它把"人手"和"机械爪"这两种长得完全不一样的东西,统一成了同一种语言:一堆在三维空间里移动的点。人的手指有骨节,机械爪有连杆,控制接口更是天差地别,但如果只关心"抓取部位上若干个关键点在空间里怎么移动",那人手示范的数据和机器人自己采集的数据,就能放进同一个训练框架里一起学。
这里藏着一个很现实的考量:高质量的机器人操作数据其实很稀缺,采集成本很高,但人类用手做各种动作的视频几乎取之不尽。如果能把人手动作和机器人动作统一成同一种三维点轨迹表示,那机器人就能从海量的人类操作视频里"蹭"到学习素材,而不必事事都靠昂贵的真机数据采集。
如果不这么统一会怎样?那就只能眼睁睁看着人类示范数据和机器人数据各玩各的,机器人系统永远得不到那些唾手可得的人类操作视频的滋养,数据规模被人为砍掉一大块。
**没有深度信息时,怎么把图像钉在三维空间里**
光把动作和场景变成三维点还不够,视觉观察本身也得想办法"钉"进这套三维坐标系。
这里论文碰到一个实际问题:并不是所有摄像头都配深度传感器,很多时候机器人拿到的只是普通 RGB 图像,没有深度信息。那在没有深度的情况下,怎么知道画面里每个像素对应的三维位置呢?
论文的解法叫"世界对齐的三维位置编码"。
世界对齐三维位置编码:给图像里每一个视觉信息块(patch)附加一个表示它在真实三维世界坐标中位置的编码,使得网络处理视觉特征时,天然携带空间位置信息。
如果有深度数据,这事好办:用相机内参把像素反投影成相机坐标系下的三维点,再用相机到世界坐标系的变换矩阵转换过去,直接算出每个像素对应的世界坐标,然后用傅里叶编码方式把这个坐标信息注入视觉特征。
真正巧妙的是没有深度数据时的做法。论文设计了一种"猜深度"的机制:沿着相机光线,从0.1米到2米之间均匀采样64个候选深度值,把每个候选深度对应的三维点算出来,再让网络根据当前图像块的特征,给这64个候选位置打分、算权重,最后用加权平均的方式"猜"出一个最可能的三维位置编码。
这就像你蒙着眼睛伸手去摸一件家具,虽然看不见,但你可以通过触感的轻重缓急,在脑子里给"这东西可能有多远"这件事分配一个概率分布,综合起来猜一个大致距离。如果不这么做,而是干脆放弃深度信息、让视觉特征完全脱离三维位置的约束,那模型遇到换个摄像头角度的情况时就会彻底懵掉,因为它从没学过"画面里的东西到底在物理空间哪儿"这件事。
更聪明的一点是,论文让这套"猜深度"的机制在训练时直接向"真实深度算出来的位置编码"看齐,用一个损失函数去监督这种猜测,让猜测的结果尽量逼近真实值。这样一来,哪怕推理阶段完全没有深度输入,模型猜出来的位置编码也和有深度时相差无几。论文附录里专门做了对比实验,在 LIBERO-Plus 基准上,没有深度输入时整体成功率是84.43%,有真实深度输入时是84.68%,只差0.25个百分点。这说明这套"蒙眼猜距离"的机制,基本把深度信息的功能给顶替下来了。
**轨迹是会"变速"的,怎么统一编码时间**
把动作和场景都变成了三维点轨迹之后,还有一个麻烦事:不同数据来源的轨迹采样频率完全不一样。
有的模拟器一秒钟记录20帧,有的真实机器人数据一秒只有10帧,人类手部视频根据来源不同,帧率从6赫兹到10赫兹不等。如果简单地把每一帧当成一个独立的时间步去编码,那不同数据集训练出来的模型,对"时间"这个概念的理解就会乱套,20帧和10帧明明代表的是同样长的一秒钟,模型却可能把它们当成长度不一样的两件事。
论文的解决办法是物理时间轨迹分词器,核心思想是不用帧的序号来表示时间,而是用真实流逝的秒数。
物理时间轨迹分词器:把一整条轨迹(不管它有多少帧、采样频率是多少)编码压缩成一个token,这个token携带的是"经过了多少秒"这种物理时间信息,而不是"第几帧"这种依赖采样率的信息。
具体做法是,把时间转换成以秒为单位的相对偏移量,用一个固定的时间基函数去表示"经过了多长时间",再通过一种叫 FiLM 的调制机制,把这个时间信息注入到轨迹编码和解码的过程里。整条轨迹最终被压缩成一个向量(一个token),而不是逐帧展开成一长串token。
这就像你记录一次旅行,如果用"第几张照片"来标记时间,那一个用手机连拍模式拍了200张照片的人和一个随手拍了5张照片的人,记录的是同一趟旅行,但"第几张"这个坐标系完全不兼容,没法直接比较。但如果你记录的是"出发后第几分钟拍的",不管拍了多少张照片,这套时间刻度都是通用的。物理时间分词器干的就是这件事,让不同采样率的轨迹数据能用同一套时间语言对话。
如果不这么处理,直接按帧序号编码,那混合不同采样率的数据集训练时,模型学到的"运动节奏感"就会被采样率的差异搅乱,高帧率数据集里缓慢的动作,可能被误解读成低帧率数据集里的快速动作。
**一个大脑,两种输出模式**
技术架构上,UNITAS 用了一种叫"Mixture-of-Transformers"的混合专家结构,里面有两个关键的子模块:一个叫点动态专家,负责处理动作流和场景流;另一个叫动作专家,负责直接生成机械臂可以执行的具体指令(末端执行器的平移、旋转和夹爪开合)。
这两个专家不是各干各的,而是层层耦合:动作专家在每一层都能读取点动态专家处理观察信息和语言指令后产生的特征,再结合自己当前的状态去生成具体动作。
这个设计支持两种工作模式。
策略模式(Policy Mode):直接根据任务指令和当前观察生成可执行的机器人动作,跳过预测未来场景流的步骤,速度快。
模拟器模式(Simulator Mode):在给定一段动作轨迹的前提下,预测这个动作会让场景发生什么样的变化,用于"沙盘推演"式的规划。
这种双模式设计其实解决了一个实际矛盾:机器人在真实执行任务时,你希望它反应快,不要浪费时间去"脑补"接下来画面长什么样,直接给出动作就行;但如果你想用这套系统做规划、验证某个动作方案是否合理,又需要它具备预测场景变化的能力。论文测出来的数据显示,只生成动作、不做任何场景预测的模式,每个动作块只需要55.77毫秒,比同时生成动作和动作流轨迹的方式快了2.2倍,比同量级的 Fast-WAM 模型快了2.81倍。
这就好比开车时,大部分情况下你只需要下意识地打方向盘、踩刹车,根本不需要在脑子里先放一遍"接下来三秒钟路况会怎样"的电影,直觉反应就够用了。但如果是在练车场上做新手训练,教练可能会特意让你先想清楚"打方向盘之后车会往哪偏",这时候"预判"这个动作本身才是训练的目的。UNITAS 把这两种需求拆成了两套可以按需切换的运行方式,如果强行绑死成一种模式,要么执行时慢得没法用,要么丢掉了推演场景变化这个有价值的能力。
**实验结果:数字说话**
说了这么多设计思路,实际效果到底怎样?
在 LIBERO 这个经典机器人操作基准上,UNITAS 拿到了99.8%的平均成功率,这个数字已经逼近满分。在更难的 RoboTwin 2.0 双臂操作基准上(覆盖50个任务),UNITAS 在"标准条件"和"随机化条件"下分别达到92.94%和93.04%的成功率,超过了参数量是它好几倍的模型,比如6B参数的 Fast-WAM 和8B参数的 Motus,而 UNITAS 自己只用了1.7B参数。
参数量更小、效果更好,这事值得多说两句。论文里有张图专门对比了几个方法的参数规模和在 LIBERO-Plus 上的鲁棒性表现,UNITAS 用最少的参数拿到了最高的分数,这多少说明三维原生的表示方式确实比单纯堆视频生成模型的参数量更"划算"。
在专门测试鲁棒性的 LIBERO-Plus 基准上(这个基准会故意改变摄像头角度、机器人初始姿态、指令措辞、光照、背景等等,制造各种干扰),UNITAS 整体成功率达到89.1%,其中摄像头角度扰动下的表现是82.1%,对比 Cosmos Policy 的75.8%和 LaMP 的64.5%,领先优势相当明显。这个结果印证了前面讲的那套"世界对齐位置编码"确实起了作用,把视觉观察钉死在真实三维坐标里,换个角度拍它也不至于晕头转向。
真实机器人实验这块,论文测试了两个任务:整理书本和打包球类放进袋子。UNITAS 在这两个任务上的成功率分别是90%和80%,对比 π0.5(75%和55%)和 Fast-WAM(65%和60%),都明显更高。
动作条件下的场景预测这块,这是最能体现"三维原生"价值的一项测试。论文找了一个专门预测场景点轨迹的模型 PointWorld 做对比,结果 UNITAS 的移动点平均误差是0.427厘米,比 PointWorld 的0.656厘米低了35%;终点误差从1.050厘米降到0.825厘米,降了21%;静止区域的漂移误差从0.084厘米降到0.043厘米,降了49%。
这组数字换算成直观感受大概是这样:原来模型预测一个物体移动后的位置,平均会偏差半厘米多一点,UNITAS 把这个偏差压缩到不到半厘米,而且本该纹丝不动的背景区域,预测结果也几乎不怎么"漂移"了。对于需要精细操作的机器人任务来说,这种毫米级的精度差异,很可能就是抓得准和抓空的区别。
论文还做了一组消融实验,专门验证每个设计模块到底有没有用。如果去掉"世界对齐三维位置编码",整体成功率从85.74%掉到81.35%,摄像头扰动下的表现更是从79.11%暴跌到66.73%,足足掉了12个百分点。如果去掉动作流监督(也就是不要求模型学习那套三维点轨迹,只学最终的动作指令),成功率跌到78.89%。如果去掉动作历史的token(也就是不让模型看最近一段时间的运动轨迹),成功率跌到75.92%,在机器人初始状态扰动的场景下更是暴跌近20个百分点。把这三项全砍掉,回到一个类似传统视觉语言动作模型的基线,成功率只剩67.58%。
这组对比数据挺说明问题的。如果一个研究者当初图省事,觉得"反正图像里也有信息,何必费劲搞三维坐标系",那么从67.58%到85.74%这18个百分点的差距,就是图省事要付出的代价。
**这事还没完全解决的地方**
当然,UNITAS 也不是万能的。
论文里提到,场景流的监督数据主要来自模拟器环境,因为只有模拟器才能提供精确的三维点对应关系的真值。真实世界里想获得这种级别的三维轨迹标注,成本依然很高。论文附录里展示了一些"零样本迁移"的例子,把只在模拟数据上训练出来的场景预测能力,直接应用到 DROID 和 RH20T 这类真实机器人数据集上,结果看起来还不错,但这终究是定性展示,缺少严格的定量评估支撑。真实世界的场景流监督数据到底能不能规模化地采集,是这条路线接下来要面对的硬骨头。
另外,论文聚焦的是相对短时间窗口内的动作和场景预测,对于需要规划很长时间跨度、涉及多个子任务串联的复杂操作,这套三维点轨迹的表示方式能不能撑住,论文里没有给出特别充分的验证。
写在后面
读这篇论文时,印象最深的其实不是那些刷新纪录的成功率数字,而是那种"把问题从根上重新定义"的思路。很多时候,一个领域卡在瓶颈期,不是因为大家不够努力去调参、不够舍得堆算力,而是因为最初选择的那套表示方式,从根子上就带着某种结构性的偏差。图像很直观,人人都看得懂,但图像终究是三维世界的影子,拿影子去推算实物的尺寸,本身就是一件别扭的事。
论文里那个"猜深度"的机制让我挺触动的。在没有真实深度数据的情况下,与其硬着头皮假装什么都不知道,不如大大方方承认"我不确定",然后用一套概率加权的方式去做最合理的猜测,同时还让这套猜测机制接受真实数据的监督去校准自己。这种"带着不确定性做判断,但让不确定性本身也能被训练"的态度,其实挺值得在很多工程问题里借鉴的。
机器人到底要花多久才能真正理解"抓起一个杯子"这件事背后的物理含义?也许答案不在于给它看更多视频,而在于先想清楚,它脑子里用来表示这个世界的那套坐标系,到底对不对。







