你有没有想过，一个机器人手臂要接住传送带上正在移动的杯子，它到底需要"看"多久的历史画面才能判断准？
直觉上答案可能是：越多越好呗。多看点历史,总比少看强。但NVIDIA、MIT、香港大学联合团队的这篇最新研究告诉你，事情远比这复杂。他们发现一个让人意外的现象：给机器人更长的记忆窗口，有时候完全没用，甚至会拖慢反应。关键不在于"给不给"历史信息，而在于机器人的底层模型有没有学会"怎么用"这些信息。这篇论文叫Long-WAM，专门研究这件事。
先说一个具体的场景。传送带以每秒7.5厘米的速度移动着一个杯子，机器人要抓住它。市面上两个强力选手,π0.5和Fast-WAM,在20次尝试里全部失败,一次都没成功。而用了新方法的Long-WAM,成功率达到90%。这不是运气,这是设计出来的结果。
这件事到底难在哪
实时机器人控制有个天生的矛盾。
机器人想要判断"现在这个动作该怎么做",只看当前这一帧画面是不够的。比如杯子正在往哪个方向移动、移动速度多快、之前的操作完成到什么程度了,这些信息都藏在过去几秒甚至几十秒的画面里。所以给机器人一段"视觉历史"似乎是理所当然的解决方案。
但历史看得越多,处理这些画面需要的时间也越长。机器人要是为了想明白"刚才发生了什么"花掉太多时间,它做出反应的那一刻,传送带上的杯子早就跑远了。
这就是论文开篇提出的核心矛盾:获取历史信息,和及时做出反应,这两件事在同一个系统里是互相打架的。
更麻烦的是,研究团队发现了一个此前被忽略的区分:拥有历史不等于会用历史。他们做了个对比实验,用三种不同方式"预训练"出来的视觉基础模型,装上同样的机器人动作控制模块,然后逐步拉长给它们看的历史时长,从0秒一直拉到38.4秒。
结果非常有意思。在RoboCasa GR-1这个模拟测试环境里,用双向预训练方式(也就是业内常用的Wan2.2模型)得到的版本,历史时长拉长了,成功率却原地踏步,19.2秒和0秒时表现几乎没差。而用自回归方式预训练的版本,历史从0秒拉到19.2秒,成功率从63.3%一路涨到78.7%,涨了整整15.4个百分点。两种模型吃进去的是完全一样的历史画面长度,结果却天差地别。
这说明单纯"给"模型历史窗口是不够的,模型得先具备"读懂历史、预测未来"的能力,才能把这些历史信息转化为更准的动作。这是整篇论文最重要的发现,也是接下来所有设计的出发点。
自回归预训练:先学会"预见",再学"行动"
要理解这个发现,得先弄清楚两种预训练方式的区别。
自回归预训练*：模型按时间顺序一步步预测视频的下一帧,每一帧的预测都依赖于它之前已经生成的内容,这种"只能往前看、不能往后看"的结构叫因果结构。
双向预训练*：模型在训练时可以同时看到过去和未来的所有帧,不受时间顺序限制,这是目前主流视频生成模型(比如Wan2.2)常用的训练方式。
双向预训练出来的模型在生成单张图片或者短视频时效果很好,因为它见过"完整的"视频序列,知道开头和结尾分别是什么样。但当你把这种模型改造成机器人控制系统时,你要求它必须按照时间顺序,只根据过去发生的事情去推断接下来该怎么做,这跟它训练时养成的思维习惯是不一致的。
Long-WAM团队的思路反过来了。他们先让模型做一件"纯粹"的事:只看视频,不告诉它任何机器人的动作指令,专门练习"给我一张起始图片和一句话描述,预测接下来会发生什么"。这个阶段训练出来的模型叫LongLive2.0-Robot,学习素材来自大约1万个小时等效时长的机器人操作视频和第一视角人类活动视频,横跨五个数据集,包括RoVid-X、AgiBot World、EgoDex、EgoVerse和VITRA。
这里有个细节值得说一下:因为这个阶段完全不涉及机器人的具体动作指令,只是单纯学"视频接下来会怎样",所以模型可以同时从多种不同类型的机器人、甚至人类的手部操作视频里学习,不需要操心不同机器人的动作坐标系统对不上这个麻烦。
这就好比一个人要学开车,与其一上来就坐进驾驶座练习转向和刹车,不如先花大量时间坐在副驾驶位置,观察路况变化、预判前方车辆的动向。如果跳过这个阶段直接练操作,学员可能动作还算标准,但对"接下来会发生什么"完全没有判断力,遇到突发情况就手忙脚乱。如果反过来,先花足够长时间练好"预判路况"这个底层能力,等真正握上方向盘时,脑子里已经有一张动态的路况地图,动作自然会更从容。
训练完这个"预判能力"之后,团队把它改造成能执行机器人动作的系统,改造过程中有一条硬规矩:视频预测这一侧的因果结构必须原样保留下来,不能破坏。也就是说,负责"想象未来画面"的模块,只能看到自己之前预测过的内容,绝对不能偷看动作指令那部分的信息。而负责"生成动作"的模块,反过来可以读取已经观察到的历史、部分去噪的未来画面预测,以及完整的待生成动作序列。
论文里把这种"先想象未来,再据此生成动作"的模式称为逆向动力学建模,英文缩写IDM。
逆向动力学建模(IDM)*：先让视频预测模块想象出接下来几步可能发生的画面,再让动作生成模块参考这个想象结果和已观察到的历史,共同决定具体该怎么动。这个过程中想象出来的未来画面只是中间计算结果,从不会真正渲染成能看的图片。
团队还对比了另外两种方案。第一种叫"无未来视频预测",机器人动作生成完全不参考任何对未来的想象,只盯着历史画面;第二种叫"联合去噪",未来画面和动作在每一步计算里相互影响、同步生成。实验数据显示,在LIBERO-Long这个长任务测试集里,IDM模式的成功率达到99.5%,无未来视频预测模式是94.5%,联合去噪模式是97.8%。先预判、再行动这条路线,效果确确实实是最好的。
context窗口该开多大:并非越长越好
搞清楚了"自回归预训练"这个底层能力的重要性之后,下一个问题是:这个历史窗口到底该开多长?
答案是,不同任务需要的窗口长度完全不一样。
在LIBERO-Long上,加上2.4秒的历史,成功率就从94.5%跳到99.5%,再往后拉长基本不涨了,可以说2.4秒就封顶了。但在RoboCasa GR-1这个包含多阶段任务(比如要连续完成拿取、转移好几个物体)的测试环境里,历史窗口一路拉到19.2秒,成功率还在持续上涨,从63.3%涨到78.7%。
这个差异背后的逻辑其实挺直白的。LIBERO-Long里的任务结构相对简单,机器人只要知道"最近发生了什么"就能判断接下来该做什么,再往前的历史对当前决策帮助有限。但GR-1里的任务需要机器人记住"这一整个流程我已经完成到哪一步了",任务链条拉得越长,需要回溯的历史自然也越长。
但历史窗口也不是开得越大越好。实验数据显示,当窗口拉到38.4秒的时候,RoboCasa GR-1上的成功率反而从78.7%掉到了75.2%。团队给出的解释是,这个38.4秒的窗口长度是训练时平均轨迹长度(12.1秒)的三倍,意味着大部分采样到的历史帧其实是用"重复第一帧"的方式填充出来的假数据,占比高达80.4%。换句话说,不是记忆能力本身见顶了,是训练数据里真实的长轨迹样本不够多,硬撑出来的超长窗口里塞满了水分。
这就像让一个人回忆过去一整年发生的事情来决定今天穿什么衣服。如果这一整年里,绝大部分日子其实都是同一天的复制粘贴(数据里的"重复填充"),那回忆这些内容根本帮不上忙,反而会让人分心去处理一堆没有信息量的噪音。如果不限制回忆的真实有效性,单纯追求"回忆得更久",得到的只是虚假的安全感,实际决策质量反而会下滑。
context窗口*：模型在做出当前决策时,实际参考的历史观察时长,论文里按秒数来衡量,比如2.4秒、19.2秒等。
另外一个值得记住的数字是,历史窗口拉长8倍(从2.4秒到19.2秒),在RTX 5090显卡上的推理延迟也跟着涨了3.2倍,从107.4毫秒涨到341.0毫秒。历史信息不是免费的,看得越多,算得越久,这笔账必须算清楚。
速度与精度的拉锯战:怎么让机器人不等待
想明白了"该看多久"的问题,接下来要解决的是更现实的工程问题:机器人不能一直在那儿傻等模型算完才动。
论文给出的方案叫异步执行,核心思路很朴素:模型在算下一步该怎么做的时候,机器人不要闲着,先把上一步已经算好的动作继续执行着。
异步执行*：模型推理和机器人实际执行动作同时进行、互不等待,而不是机器人每做完一个动作就停下来等模型给出下一个指令。
这里有个技术细节挺有意思。很多同类系统在做异步切换的时候,会担心前后两个动作指令衔接不上,出现"一卡一顿"的突变,所以会额外设计一些平滑过渡的机制,比如让新旧动作在交接处做加权混合。但Long-WAM团队发现,他们的系统完全不需要这些额外补丁。原因还是回到了前面提到的那个核心能力:因为视频预测这一侧本身具备连续、稳定的未来预判能力,所以前后两次生成出来的动作块,在它们重叠的那部分天然就是一致的,不需要人工去"缝合"。
实验数据很有说服力。在RoboTwin 2.0测试里,Long-WAM从同步模式切换到异步模式,成功率只掉了0.2个百分点(从94.4%到94.2%)。而对比的两个系统,Fast-WAM掉了15.4个百分点,LingBot-VA直接掉了45.5个百分点。
除了异步执行,团队还设计了一套叫流式VAE编码的机制。
VAE*：一种能把原始图像压缩成更紧凑的"潜在表示"的神经网络模块,机器人系统用它来把摄像头画面转换成模型能处理的数据格式。
流式*：指摄像头画面一边进来,系统就一边处理,不等所有画面全部收齐才开始算,这样能把处理时间提前分摊出去,减少触发指令后的等待时间。
这套机制解决的是另一个细节问题:如果每次都等整段观察画面全部收完才开始编码,机器人就会积累出一堆等待时间。流式编码相当于把"排队"这件事拆成边到边处理,后续触发推理的时间点可以往后推,留给交接的空档也能缩得更短。
打个比方,这就像餐厅后厨接单。如果厨师非要等一整桌客人全部点完菜才开始做第一道,那么这一桌人就要干等很久。但如果客人点一道、厨师就立刻开始备这一道的料,等到最后一道菜点完的时候,前面几道已经快出锅了。缩短的不是做菜本身的时间,是"等待"这个环节被重新安排,从集中等待变成了边点边做。
工程优化这一块,团队还做了大量硬件层面的细节打磨,包括用四位数值精度(NVFP4)来压缩视频预测部分的计算量、复用去噪过程中不会变化的计算结果、针对RTX 5090、DGX Spark、Jetson AGX Thor这三款不同硬件分别做底层算子调优。最终效果是,在RTX 5090上,整个推理流程(包括完整的观察画面编码)从未优化的356毫秒降到了107.4毫秒,提速3.3倍。这意味着每做一次动作决策,留给机器人的反应时间比原来宽裕了三倍以上。
四大模拟测试平台的成绩单
讲完原理,来看看具体数据表现。
在LIBERO这个单臂机器人操作测试集上,Long-WAM用IDM模式拿到99.5%的平均成功率,在最难的LIBERO-Long子任务上同样是99.5%,比LingBot-VA高1.0个百分点,比Fast-WAM高4.3个百分点。
在RoboTwin 2.0这个双臂机器人测试集上,Long-WAM平均成绩94.4%,比ABot-M0.5和LingBot-VA 2.0分别高出0.3和0.8个百分点。
在DOMINO这个专门测试动态场景(物体在移动中)的平台上,Long-WAM经过针对性微调之后,成功率达到34.9%,操作得分45.1,比Fast-WAM的成功率高出15个百分点,比PUMA的操作得分高出10.1分。这个结果很说明问题,因为DOMINO要求机器人根据观察到的物体运动趋势来判断接下来的拦截轨迹,这恰恰是"历史信息能不能被正确利用"这个能力最直接的考场。
在RoboCasa GR-1上,前面已经提过,从0秒历史到19.2秒历史,成功率从63.3%涨到78.7%,这个78.7%的成绩比测试过的所有其他方法都要高,领先第二名Cosmos Policy(67.1%)整整11.6个百分点。
规划与执行的分工:谁该管什么
论文还做了一组挺有启发性的系统级实验,用RoboCasa365这个专门考察"原子技能"和"复合任务"的测试平台。
所谓原子技能,指的是像"拿起杯子""打开柜门"这种单一的基础操作;复合任务则是把好几个原子技能串起来、完成一个更复杂的整体目标,比如"把所有碗叠起来并放进柜子"。
团队把Long-WAM单独拿出来测,它在已见过的原子技能上成功率是67.9%,相比之下π0.5只有39.6%。这说明Long-WAM本身的"手上功夫"确实扎实。
但更有意思的是接下来这组对比。团队给Long-WAM配了一个叫GPT-6 Astra的高层规划模块,完全不重新训练Long-WAM本身,只是让规划模块来分配具体该执行哪个子任务。结果整体成绩从31.4%跳到54.4%,涨了23个百分点。而同样的规划模块配给π0.5,只涨了13.6个百分点。
这个对比揭示了一件容易被忽略的事:规划能力再强,如果底层的执行模块本身不够扎实,规划带来的提升也有限。反过来说,执行能力足够强的时候,规划这件事才能真正发挥出它应有的价值。
这就像一个乐队的指挥和演奏者之间的关系。指挥能力再出色,如果乐手连基本的音准和节奏都掌握不好,指挥的那些精妙构思根本落不了地。只有乐手本身技艺过硬,指挥的每一个细微手势才能真正转化成动人的音乐。规划和执行从来不是谁取代谁的关系,是两种能力相互放大的关系。
真实机器人上的表现:速度与长任务的双重考验
模拟测试环境之外,团队还在真实的Unitree G1人形机器人和YAM双臂机械臂上做了实测。
在G1上,传送带速度从3厘米/秒逐级加快到7.5厘米/秒,Long-WAM的抓取成功率始终保持在90%到100%之间。而π0.5在最高速度下成功率是0%,Fast-WAM在6.0和7.5厘米/秒下也都是0%。
更有挑战性的一项任务是"动态叠杯":杯子在移动中,机器人不仅要抓到它,还要把它准确套进另一个固定的杯子里,这个任务既要拦截又要对准。Long-WAM在20次测试里成功了19次,π0.5和Fast-WAM两者加起来,20次测试里一次都没成功。
在YAM机械臂上,团队测试了三项平均耗时超过40秒的长流程任务:按颜色分拣积木、把饺子放进锅里、把碗叠起来。三项任务的成功率分别是80%、80%、85%,平均81.7%。这些任务对机器人的考验不是瞬时反应速度,而是能不能在一个漫长的操作过程里,持续、准确地推进到下一步。
这两类测试加在一起,其实指向了同一件事:无论是要求"快"的瞬时拦截任务,还是要求"久"的长流程任务,背后考验的都是机器人能不能把历史观察有效转化成对当下和未来的正确判断。
写在后面
读完这篇论文,我印象最深的一点其实不是那些漂亮的成功率数字,是那个关于"双向预训练历史越长成功率不涨"的对比实验。
这个结果有点反常识。按照一般的直觉,"模型能看到的信息越多,表现应该越好",这几乎是深度学习领域里一条默认成立的朴素假设。但这篇论文用一组干净的对照实验告诉你:信息量的增加,必须匹配模型内在处理这些信息的方式,否则多出来的信息什么都不是,纯粹是摆在那儿的无用数据。
这个发现其实跳出了机器人控制这个具体领域,有更普遍的意味。我们在很多场景里都容易陷入"数据越多越好、历史越长越好"的思维定式,但这篇论文提醒的是:获取信息的渠道,和消化信息的能力,从来是两件不同的事。前者解决的是"有没有",后者解决的是"会不会用"。没有后者,前者再充足也是摆设。
另一个让我反复琢磨的地方,是38.4秒那个"历史窗口拉长反而效果变差"的细节。团队的解释是训练数据里真实长轨迹样本不够,大量的历史帧是靠重复填充凑出来的。这背后其实暴露了一个更现实的瓶颈:不是算法的能力上限到了,是数据本身的真实密度跟不上野心。这种"卡在数据而不是卡在算法"的情况,在很多领域的研究里恐怕都比我们想象的更常见。
传送带还在转,杯子还在移动,而机器人需要在那一瞬间判断,刚才看到的轨迹,接下来会走向哪里。这个判断背后,到底藏着多少秒的历史才算够用,或许本身就没有一个固定答案,答案取决于你问的是哪个任务,给的是哪种记忆。
Q&A
Q1：Long-WAM是什么？
A：Long-WAM是NVIDIA、MIT、香港大学等团队联合提出的机器人控制框架，核心发现是机器人看更长的历史画面要想真正提升控制效果，必须先让视觉基础模型经过自回归方式预训练，单纯拉长历史窗口并不能自动带来提升。
Q2：Long-WAM在真实机器人上表现怎么样？
A：在Unitree G1人形机器人上，Long-WAM抓取移动杯子的成功率保持在90%到100%，动态叠杯任务20次里成功19次，而对比的π0.5和Fast-WAM在同等条件下全部失败，一次都没成功。
Q3：为什么历史窗口拉得越长，机器人表现不一定越好？
A：因为历史窗口拉得太长后，大量历史帧其实是用重复画面填充出来的无效数据，占比可以高达80%以上，而且更长窗口会显著增加推理延迟，拖慢机器人反应速度，所以历史长度需要根据任务复杂度匹配，并非越长越好。
