2023年,如果你问一个机器人领域的研究者："为什么你的机械臂在实验室表现很好,一换个桌子颜色就不认识东西了?"
得到的答案大概率是一声叹气。
这不是段子,是当时整个具身智能领域的真实处境。用语言模型训练出来的机器人,嘴皮子利索,一聊天头头是道,可真让它干活,稍微换个场景就抓瞎。而用视频生成模型训练出来的机器人反过来,动作行云流水,物理直觉拉满,可你问它"为什么这么做",它说不出个所以然,碰到没见过的任务直接懵。
这篇来自香港科技大学(广州)和OLA Dimensions团队的论文,讲的就是如何把这两种"偏科生"捏合成一个"全科生"。他们管这个新模型叫UniWAM,一个统一了物理推理、世界生成和动作预测的系统。
两条路线,两种残缺
要理解UniWAM解决了什么问题,得先搞明白机器人智能这个领域此前走的两条路,为什么都走不通到底。
第一条路叫视觉-语言-动作模型
VLA,全称Vision-Language-Action Model。简单说就是拿一个已经学会看图说话的语言模型,再喂给它一堆"看到这个场景,做这个动作"的数据,训练它把语言理解能力迁移到动作输出上。
这条路的代表作包括π0、OpenVLA等。它们的优势很明显:因为底子是语言模型,所以指令理解能力强,你说"把粉色杯子放到盘子上",它大概率能分清哪个是粉色杯子。
但问题也很致命。这类模型的监督信号基本只有动作标签,就是说,它学的是"看到A就做B",至于"做B之后世界会发生什么变化",它其实没有一个显式的建模。这就好比一个人靠背答案考出了高分,题目稍微变个说法,他可能就不会了。论文里提到,这种"action-only supervision"(纯动作监督)对世界动态的理解支撑非常有限。
第二条路叫世界-动作模型
WAM,全称World-Action Model。这类模型的底子不是语言模型,而是视频生成模型,比如Wan这种能够预测"接下来会发生什么画面"的系统。
这类模型的优势在于,它天生就带着强大的时空先验。它见过海量的视频,知道水倒出来会往下流,知道抓住的东西会跟着手移动,这种物理直觉是VLA缺的。
但代价是什么?论文原话写得很克制:"其在分布外场景的理解和复杂任务的推理能力仍然有限"。翻译成人话就是,这类模型擅长"看图猜下一帧",但你要是问它复杂的语义问题,或者换个它没见过的环境布局,它的表现会明显打折。
这两条路线的根本矛盾在于,语言监督信号太稀疏,没法教会模型世界怎么运转;而视频监督信号虽然稠密,却没法教会模型怎么进行语义推理。一个懂道理不会做,一个会做不懂道理。
这就像招聘时常遇到的两类候选人。一类是理论扎实的应届生,讲起方法论头头是道,可真让他独立处理一个客户突发问题,他会卡壳,因为他脑子里没有"这件事实际会怎么发展"的经验库。另一类是干了十年的老师傅,手上活儿极其熟练,遇到常规问题闭着眼都能处理,可你要是让他跟客户解释清楚为什么要这么做,或者换一个全新的业务场景,他可能就说不明白、也适应不过来,因为他的经验是肌肉记忆式的,没有被语言化、结构化过。
UniWAM想做的,就是把这两种候选人的能力捏到一个人身上。
三个专家,一个大脑
UniWAM的架构设计,核心思路是搭一个"专家混合"系统。
模型里有三个"专家"模块:物理推理器(Physical Reasoner)、世界生成器(World Generator)、动作预测器(Action Predictor)。
物理推理器负责语义理解和语言推理,它的底子是Qwen3-VL-2B-Instruct,一个视觉语言模型。
世界生成器负责预测未来的视觉画面,它的底子是Wan2.2-TI2V-5B,一个视频生成模型。
动作预测器则专门负责输出具体的机械臂动作指令。
这三个专家不是各干各的,它们通过一种叫做联合多模态注意力(Joint Multimodal Attention)的机制互相"交流"。
MoT架构:Mixture-of-Transformers的缩写,意思是把不同模态(语言、视频、动作)各自用专属的Transformer子模块处理,但在注意力计算阶段把它们的特征拼到一起做联合计算,让信息能跨模态流动,同时又保留各自的专长分工。
这个设计思路其实挺反直觉的。常规想法是,既然要统一,干脆把三种数据全部塞进一个模型里硬训练不就完了?但UniWAM没这么干,它坚持"分工不分家"。语言的归语言头处理,视频的归视频头处理,动作的归动作头处理,但在每一层的注意力计算里,三路信息会被拼接起来共同参与softmax运算,然后再拆开各回各家。
如果不这样设计会怎样?论文里暗示了一个潜在风险,就是"异构数据之间的监督目标冲突"。想象把三份性质完全不同的工作塞给同一个人同时干,又要写报告,又要画设计图,又要去现场拧螺丝,如果不分清楚哪部分脑力用在哪,这个人大概率会把三件事都做得稀烂。联合注意力机制相当于给这三件事配了三个独立的"办公桌",但又在中间开了一道可以随时沟通的门,既保证各自专业度,又不至于信息闭塞。
数据怎么喂,直接决定模型学成什么样
UniWAM的训练数据分三路:机器人数据、人类第一视角数据、视觉问答数据。
这三类数据加起来总时长约10013小时,机器人数据约4958小时(来自AgiBot World、Bridge、Droid、Fractal、Robocoin、InternData-A1等六个来源),人类数据约5072小时(来自EgoDex、EgoVerse、VITRA)。
关键不在数据量有多大,而在于怎么把这些数据分配给三个专家模块。
论文的处理方式很讲究:视觉问答数据只用来训练物理推理器,目的是维持它原本从预训练继承来的语言理解能力,不让它在后续的机器人训练中"学傻了"。人类第一视角数据同时训练物理推理器和世界生成器,因为人类数据没有精确的动作标签,只能用它来学语义和画面预测,不能强行拿它去监督动作输出。机器人数据的物理一致性最高,也有最精确的动作标注,所以它被用来同时训练全部三个专家。
这种分配策略背后有个很现实的担忧:如果把低精度的人类动作估计硬塞给动作预测器去学,相当于让它学了一堆带噪声的错误答案,反而会拖累动作输出的精度。
这就像带新员工。你不会让一个刚入职、还没完全摸清业务流程的人去直接签合同做决策,那太冒险了。你会先让他跟着看资深同事怎么处理问题(对应人类数据训练语义理解部分),同时安排他做一些标准化、有明确对错答案的练习题(对应VQA数据维持基础能力),等到他真正上手操作有精确反馈的实际业务时(对应机器人数据),才放手让他独立完成全流程。如果一开始就让他拿着不靠谱的经验去直接签单,出错的概率会直线上升。
把动作翻译成人话:物理语言监督
UniWAM有一个挺巧妙的设计,叫物理语言监督(Physical Language Supervision)。
具体做法是,把机械臂末端执行器的运动,用自然语言描述出来。比如"右臂向前移动3厘米,向左移动2厘米,向左倾斜10度,逆时针旋转20度,打开夹爪"。
为什么要这么麻烦?直接用数字坐标不就行了吗?
答案藏在一个核心矛盾里:视觉语言模型的预训练知识,本质上是对语言分布的拟合。如果你突然往它脑子里塞一堆纯数字的动作向量作为监督信号,这和它原本"学语言、学概念"的分布完全不是一回事,等于逼着一个文科生去硬背乘法口诀表,它当然能背下来,但这个过程会破坏它原有的语言理解能力。
而把动作描述成自然语言,相当于让动作信息"说模型听得懂的话"。这样一来,模型在学习具身任务的同时,依然是在它熟悉的语言分布里做事,不容易把原本的语义理解能力冲掉。
更妙的是,这套物理语言模板对人类数据和机器人数据是通用的。无论是人手还是机械臂,末端执行器的位移和旋转都可以用同一套"向前移动几厘米""倾斜多少度"的话术描述。这就给两种差异巨大的数据源之间,搭了一座共享的语言桥梁。
论文后面用t-SNE可视化验证了这个设计的效果:有物理语言监督时,机器人数据和人类数据在表征空间里的分布明显重叠;没有这个监督时,两者基本各占一块,泾渭分明。
t-SNE:一种把高维数据压缩到二维平面上方便可视化的技术,常用来观察模型内部特征表示是否存在某种聚类或分布规律。
这个发现挺有意思。它说明"统一语言描述"这个看似简单的技巧,实际上在帮模型建立起人类动作和机器人动作之间的语义桥梁,让两种本来隔着一道鸿沟的数据,能够互相迁移经验。
训练之后还要再训练:后训练阶段的两个巧思
UniWAM不是训练完一次就完事了,它还有一个后训练(post-training)阶段,引入了两个关键设计:未来帧噪声增强和历史条件流匹配。
先说未来帧噪声增强(Future-frame Noise Augmentation)。
模型在联合注意力机制下,动作预测会参考世界生成器预测出来的"未来画面"。但问题是,推理阶段这个未来画面预测本身可能就不准,如果动作预测过度依赖一个不靠谱的未来画面,反而容易出错。于是论文的做法是,在训练时故意往未来帧的视觉特征里掺入一定比例的高斯噪声(50%概率触发,噪声保留比例在0.5到1.0之间随机采样),逼着动作预测器学会从一个"模糊、不完美"的未来画面里,依然能提炼出控制相关的关键信息,而不是死死依赖一张清晰但可能是错的未来画面。
这其实有点像学开车时教练故意在模拟器里加入轻微的屏幕干扰。如果你平时训练的画面永远清晰完美,真上路遇到雨天挡风玻璃模糊的情况,你可能就慌了。而如果训练时就习惯了"看不太清也得判断路况",真遇到实际干扰时反而更从容。如果不做这个噪声增强会怎样?论文没有单独给出这个消融实验的裸数据,但从整体设计逻辑看,动作预测会变得对未来预测的精度过度敏感,一旦世界生成器在未知场景下预测跑偏,动作也会跟着跑偏。
再说历史条件流匹配(History-conditioned Flow Matching)。
这个设计更有意思。常规的动作生成方式(论文里叫噪声到动作,Noise-to-action,简称N2A)是从纯高斯噪声开始,逐步去噪得到最终的动作序列。这个过程通常需要比较多的去噪步数才能收敛到一个靠谱的结果。
flow matching:一种生成模型训练范式,核心思想是学习一个"速度场",把一个简单分布(比如高斯噪声)逐步变换到目标数据分布,生成过程就是沿着这个速度场一步步积分。
UniWAM的做法是,不从纯噪声出发,而是从刚刚执行过的历史动作(加上一点点小扰动,标准差只有0.02)出发,去噪得到接下来要执行的动作。这个方法论文里叫动作到动作(Action-to-action,简称A2A)。
这个设计的逻辑是:机器人的动作在时间上是连续的,这一秒的手臂姿态和下一秒的手臂姿态大概率是相近的,直接从历史动作出发去微调,比从一片随机噪声里凭空"猜"出动作要靠谱得多,也快得多。
实验数据证实了这一点:A2A用4步去噪就能达到75.18%的成功率,而N2A用10步去噪才能到70.17%。甚至A2A只用2步(72.30%)就已经超过N2A用10步的表现。
这就像你开车去一个常去的地方和去一个完全陌生的地方的区别。如果每次导航都要从"我不知道自己在哪、也不知道哪条路通"这种完全空白的状态重新推算路线,那无论导航软件多智能,耗时都会偏长。但如果你知道自己昨天就是从这条路走过来的,只需要微调一下(今天多了个临时封路,稍微绕一下),规划速度会快得多,而且大概率更准。历史动作就是那条"昨天走过的路",给了模型一个靠谱的起点,不用从零开始摸索。
数据说话:UniWAM到底强在哪
讲完方法论,该看实际效果了。
在标准LIBERO基准测试上,UniWAM拿到了99.2%的平均成功率,超过此前最好的方法Xiaomi-Robotics-0(98.7%)。这个基准涵盖空间、物体、目标和长时序四个子任务类型,UniWAM在除了"长时序"维度外的三个维度上都拿到最高分或并列最高分。
更能说明问题的是OOD(分布外)测试。LIBERO-Plus在原始LIBERO基础上做了七个维度的系统性扰动,包括背景纹理、相机视角、语言指令措辞、光照条件、物体布局、机器人初始状态、传感器噪声。UniWAM在这个更严苛的测试里拿到92.6%的总成功率,是所有对比方法中最高的。具体到各维度,UniWAM在机器人状态扰动(89.5%)、语言扰动(92.2%)、光照扰动(97.9%)、背景扰动(97.6%)这四项上都是单项最高分。
这个结果其实挺值得玩味的。为什么偏偏是语言扰动和光照背景扰动这几项表现特别突出?论文给出的解释是,物理语言监督让模型建立起"语义到动作"的直接映射,减少了对视觉表面特征的依赖;而大规模的世界生成训练让模型捕捉到了跨光照、跨背景依然保持一致的底层物理规律。
RoboTwin 2.0这个双臂操作基准上的数据更能说明问题。在Clean2Clean(训练测试都用干净数据)设置下,UniWAM拿到75.14%的成功率;而在Clean2Rand(训练用干净数据,测试加入域随机化)设置下,UniWAM达到68.32%,成绩差距只有6.82个百分点。
相比之下,π0.5从58.35%的平均水平里,Clean2Clean到Clean2Rand之间掉了24.70个百分点;Spatial Forcing更是掉了50.46个百分点。这个对比揭示了一个关键事实:很多模型在"干净实验室环境"下表现不错,但一旦环境稍有变化,性能就会断崖式下跌,而UniWAM的鲁棒性明显更好。
真实世界里的表现:指令跟随和长时序任务
模拟器里的数字固然好看,但真实世界才是机器人真正要面对的考场。
论文团队用AgileX Piper双臂平台做了真实世界实验,设计了四个指令跟随任务:随便拿(Pick-Anything,考验从多个物体里精准抓取目标)、多样互动(Diverse-Interaction,考验同时理解名词和动词)、相对位置摆放(Place-Relative,考验空间介词理解)、抽屉收纳(Drawer-Storage,考验双臂协同)。
结果显示,UniWAM在这四个任务上平均成功率67.5%,指令跟随率82.5%,比π0.5分别高出13.1和21.9个百分点。
最明显的差距出现在多样互动任务上,这个任务要求模型既认清物体又理解具体动作要求(比如区分"把盖子放在杯子上"和"把杯子放到盘子上")。UniWAM把成功率从π0.5的40.0%拉到72.5%,几乎翻倍。
更有意思的是长时序任务测试。研究团队设计了一个多阶段的"整理桌面"任务,包含放杯子、开抽屉、放物品、关抽屉、放马克笔等六个连续步骤。机器人在推理时只拿到一句笼统的指令:"整理桌面",没有逐步的操作说明。
这意味着模型得自己判断"现在该做哪一步了",这对长时序规划能力是个不小的考验。UniWAM在这个任务上拿到平均5.0的任务进度分(满分6分),π0.5是4.8,而Motus(一个纯WAM路线的对比模型)只有3.2。
这个3.2和5.0的差距,翻译成实际场景就是:Motus大概率只能完成前三步左右就卡住了,而UniWAM能顺利推进到接近完成的程度。
数据规模法则:喂得越多,学得越通
论文里有一个挺重要的发现,叫对数线性缩放定律(log-linear scaling law)。
研究团队用250小时、500小时、1000小时、2500小时、5000小时不同规模的机器人数据分别训练模型,同时搭配等量的人类第一视角数据,观察下游OOD表现的变化。
结果发现,随着数据规模增加,OOD任务完成率从250小时时的0.35,一路涨到5000小时时的0.67,中间没有出现饱和迹象。
但更有意思的是人类数据加入的时机效应:在数据规模较小的时候(比如250小时、500小时),加入人类数据反而会拖累表现;但一旦训练数据规模达到1000小时以上,人类数据开始产生正向增益,而且随着数据规模进一步增大,这个增益变得越来越明显。
这个现象背后的逻辑其实挺符合直觉的,只是容易被忽略。小规模数据下,人类手部和机器人机械臂之间的视觉外观差异、物理约束差异足够大,模型没有足够的数据量去学会"过滤掉这些表面差异,提炼共通的物理规律"。但当数据规模足够大之后,模型反而能够从海量样本里抽象出跨越人类和机器人的共享世界动态,这时候人类数据就从"噪声"变成了"养分"。
而且论文拟合出了一条相当干净的对数线性曲线:L(D) ≈ 0.03205 - 0.00302 ln(D),其中D是训练数据小时数,这条曲线的拟合优度R?高达0.983,几乎是完美的线性关系。更关键的是,这个离线验证损失的下降趋势,和真实机器人任务成功率的提升高度吻合,说明验证损失这个纯粹的数字指标,其实可以作为预判模型实际操控能力的一个可靠信号。
这就好比健身房里练肌肉。刚开始每周只练一两次(对应小数据量),哪怕换着花样练不同的部位,效果也很有限,因为身体还没适应基础的训练刺激,各种花式训练反而可能相互干扰、顾此失彼。但一旦训练量上去了,身体进入适应阶段,这时候加入更多样化的训练动作(对应人类数据),反而能带来更全面的提升,因为基础已经打牢,新刺激能够被有效整合吸收。
拆解来看:每个设计到底贡献了多少
论文做了一系列消融实验,把各个设计模块拆开来看各自的贡献。
在数据来源这块,只用机器人数据训练,平均成功率是67.53%;加入人类数据后提升到71.34%;如果用机器人+VQA组合(不加人类数据),反而只有67.13%,甚至比纯机器人数据还略低一些(C2C指标下降)。而机器人+人类+VQA三者全加,拿到了最高的71.73%。这说明三种数据源要搭配着用才最有效,单独加某一类反而可能产生副作用。
在VLM训练策略这块,如果把物理推理器完全冻结(不参与训练),平均成功率只有42.61%;解冻之后训练提升到46.49%;再加上物理语言监督,提升到51.74%;最后加上完整的预训练流程,一口气提到71.34%。这个阶梯式的提升清楚地说明,光是解冻VLM参数远远不够,真正起作用的是物理语言监督这个关键设计加上完整的预训练配方。
在动作生成策略这块,噪声到动作(N2A)基线是64.80%;换成动作到动作(A2A)提升到69.73%;再加上未来视觉增强,进一步提升到71.34%。
写在后面
读完这篇论文,我印象最深的其实不是那些跑赢SOTA的数字,而是那条对数线性缩放曲线背后透出的一个判断:验证损失可以预判真实世界表现。
这件事听起来平淡,但细想一下挺反直觉。很多机器人研究的痛点在于,模拟器里跑得好不代表真实世界能用,这中间横着一道著名的"仿真到真实鸿沟"(sim-to-real gap)。而UniWAM的实验显示,至少在它这套训练体系下,一个纯粹离线计算出来的数字指标,居然能够相当准确地预示下游真实机器人的表现走向。如果这个结论能在更大范围内被验证成立,意味着研究者未来可以省下大量真实机器人部署测试的成本,靠看损失曲线就能大致判断某个训练配方值不值得往下推。
另一个让我反复琢磨的细节,是小数据量下人类数据"帮倒忙"这件事。这其实颠覆了一种朴素的直觉,就是"数据总是越多越好,种类越丰富越好"。但UniWAM的实验明确显示,在数据量不够的情况下,盲目堆叠异构数据反而会拉低效果,只有越过某个规模门槛之后,多样性才真正转化成了优势。这给所有做多模态、多数据源训练的工作提了个醒:数据配比这件事,恐怕不存在一个放之四海而皆准的黄金比例,它本身是跟着总体规模动态变化的。
这篇论文也留下了没解决的问题。比如这套对数线性规律能撑到多大规模?5000小时之后会不会出现新的拐点?人类数据和机器人数据的比例是否存在一个最优配比,而不是简单的等量混合?这些问题论文没有给出答案,但正是这些留白,让人忍不住想知道,如果把数据规模再往上翻十倍,这条曲线会继续听话地往下走,还是会在某个地方突然拐弯?
Q&A
Q1：UniWAM是什么?
A：UniWAM是由香港科技大学(广州)和OLA Dimensions团队提出的统一世界-动作模型,它把物理推理器、世界生成器和动作预测器整合进一个架构,同时学习语义理解、视觉生成和动作预测,目的是让机器人既懂物理世界运作规律,又具备强大的语言推理和泛化能力。
Q2：UniWAM和传统的机器人VLA模型有什么不同?
A：传统VLA模型主要靠动作数据监督训练,世界动态理解较弱;UniWAM额外引入了视频生成模型作为世界生成器,并用物理语言(把动作翻译成自然语言描述)统一监督人类和机器人数据,让模型既有语言理解能力,又有物理直觉,在分布外场景和长时序任务上表现更稳健。
Q3：UniWAM的训练数据规模有多大,效果如何?
A：UniWAM总共使用约10013小时数据,其中机器人数据约4958小时,人类第一视角数据约5072小时,外加800多万条视觉问答数据。实验发现数据规模和模型表现呈对数线性关系,且机器人数据达到1000小时规模后,加入人类数据能进一步提升泛化性能。
