你有没有想过，一个机器人在抓起桌上的杯子前，需要"看"多少遍这个世界？
答案可能会让你吃惊：每一次决定下一步怎么动，它都要把整个画面重新看一遍，哪怕桌子、灯光、背景什么都没变。这听起来有点荒谬，就像你每次伸手拿水杯之前，都要先把整个房间重新打量一遍，确认墙壁没有消失、地板还在原地。
这篇来自北京大学团队的论文，讲的就是怎么让机器人不再做这种"重复劳动"。
机器人的"世界模型"是怎么工作的
要理解这个问题，得先说说机器人现在是怎么学会干活的。
近几年有一类方法叫做世界-动作模型
*世界-动作模型（World-Action Models，简称WAM）：一种让机器人同时学习"世界会怎么变化"和"该做什么动作"的训练方法，通过借用视频生成模型里学到的视觉知识，帮助机器人更好地理解物理世界*
这类模型的思路是，先用海量视频训练一个能"看懂"画面变化的视觉专家，再把这个视觉专家的知识迁移给负责生成动作的模块。这么做的好处很直接：视频里包含了大量关于物体怎么被抓取、怎么被移动、接触后会发生什么的常识，这些常识如果能被动作模型继承，机器人学起新任务来就会快很多。
早期的做法很直接，让模型先"想象"出未来会发生的画面，再据此生成动作，但这样一来，每次决策都要先生成一段视频式的预测，延迟高得吓人。后来有个叫Fast-WAM的工作想通了一件事：未来画面的预测其实只需要在训练阶段发生就够了，真正部署的时候，模型只需要把当前这一帧完整地看一遍，提取出视觉线索喂给动作生成模块，不用真的画出未来的画面。这个思路确实省了不少事，但它还留了一个尾巴没解决。
这个尾巴就是：无论训练还是推理，模型处理的都是密集的视频表示
*密集视频表示：把一帧画面里每一个空间位置的信息都编码成一个token（可以理解成一个信息单元），画面越大内容越复杂，需要处理的token就越多*
一张桌面场景的图像可能要拆成几百上千个token，而这些token里，绝大部分描述的都是没有变化的东西，比如桌子的颜色、背景的墙、没被碰过的其他物体。机器人真正需要关心的，往往只是夹爪和被操作物体附近那一小块区域的变化。全部都当成宝贝一样精细处理，等于是在浪费算力。
问题出在哪两个地方
论文作者把这个浪费拆解成了两个具体的痛点。
第一个痛点在训练阶段。相邻两帧的观察画面高度重复，背景、桌面几何形状、大部分物体的外观基本不变，真正随动作变化的只是局部区域。如果模型被要求把每一帧的所有空间token都重建一遍，它就得花大量精力去学习怎么"复述"那些本来就没变的内容。这不仅浪费训练算力，更麻烦的是，它把动作相关的动态信息和光照、纹理、背景这些跟动作毫无关系的干扰因素混在了一起学，一旦测试环境的视觉条件发生变化，模型的判断力就可能跟着下降。
这里可以想象一个场景：如果你要求一个学生每次做题前，先把整张试卷从头到尾抄一遍，包括题干里那些没有信息量的客套话，那他花在真正解题上的精力自然就少了，而且抄写的时候难免会分心，把注意力放在字体好不好看这种无关紧要的事情上，反而耽误了对题目本质的把握。如果不这样"抄写"，直接只记录和上一题相比变化的部分，学生就能把全部脑力留给真正需要思考的地方。这正是训练阶段浪费算力和牺牲鲁棒性这两个问题的根源。
第二个痛点在推理阶段，也就是机器人真正干活的时候。即使像Fast-WAM那样去掉了未来画面的生成，每一次控制周期依然要把完整的当前画面塞进那个很"重"的视频专家网络里，构造出逐层的视觉上下文
*键值缓存（KV context）：Transformer类模型在处理每一层信息时，会生成一组"键"和"值"用于后续的注意力计算，这些结果如果提前算好存起来，后面的步骤就能直接复用，省去重复计算*
这套视觉上下文没法被随便丢掉，因为物体是什么、场景长什么样、空间关系怎样，这些信息对动作预测来说是刚需。但问题在于，随着动作去噪步数减少（也就是机器人做决策的速度要求越来越快），负责生成动作的那部分网络计算量会跟着降下来，可视觉专家处理完整画面的这部分计算量却纹丝不动，最终反而成了拖慢整体速度的瓶颈。
DeltaWAM：只记录变化的部分
针对这两个问题，作者提出了DeltaWAM，中文可以理解成"增量世界动作模型"。
它的核心思路说起来并不复杂：把场景中"不变的部分"和"变化的部分"拆开处理。前者用一个稠密的参考帧来表示，后者用一串轻量的增量token来描述。
*增量编码器（Delta Encoder）：一个专门提取相邻两帧之间变化信息的模块，它不去描述整张画面，只提炼出"发生了什么改变"，并把这种改变压缩成一个紧凑的token*
具体来说，DeltaWAM把整个建模过程拆成了三条信息流：一条是稠密锚点流，负责完整记录某一个参考观察画面里的所有细节；一条是稀疏增量流，只捕捉相邻观察之间到底哪里发生了变化；还有一条是动作流，负责根据前面两条流提供的信息预测出具体的控制指令。这三条流通过一种叫做流匹配
*流匹配（Flow Matching）：一种训练生成模型的方法，通过学习如何把随机噪声逐步"引导"成目标数据（比如目标动作或目标画面变化），来实现从噪声到有意义输出的转换*
的技术联合训练，让增量预测和动作预测这两个目标能相互促进。
这里可以做一个类比：如果你要向朋友描述一段监控录像里发生的事情，你不会把每一秒的画面都完整复述一遍，而是会说"前十秒画面没变，第十一秒有个人从左边走进来，走到桌子旁边拿起了水杯"。你天然地就在做"锚点+增量"的表达，先给一个基础画面作参照，再只描述变化的部分。如果非要你把每一秒的完整画面都口述一遍，不仅耗时耗力，听的人还得从大量重复信息里自己去找变化点，效率反而更低。DeltaWAM做的事情，本质上就是把这种人类天然的表达习惯变成了机器可以学习的结构。
论文里进一步研究了三种不同的架构设计，看它们在共享计算和表示上各有什么取舍。
第一种叫Anchor-Shared，锚点流和增量流共用同一个视觉骨干网络，动作专家通过逐层的联合注意力和它交互。这样设计的好处是，增量预测可以直接继承预训练视频骨干网络里已经学到的视觉表示和运动先验，相当于站在巨人的肩膀上。
第二种叫Separated，增量专家和动作专家各自独立，只是都以同一个锚点作为条件。这种设计最简单，但实验显示它的表现在三种架构里是最差的，说明一个完全独立的增量预测模块并不能充分发挥"学习变化"这件事本身带来的好处。
第三种叫Action-Shared，把增量token和动作token都送进同一个共享骨干网络，只是保留各自独立的输入输出接口。为了避免共享带来的相互干扰，作者还引入了双流残差专家
*双流残差专家（Dual-Stream Residual Experts，简称DRE）：在共享的网络层之外，给每条信息流额外增加一个轻量级的私有调整模块，让共享层处理通用信息，私有模块处理该信息流独有的细节*
的设计，让共享层负责通用信息，私有的小模块负责各自流独有的细节，防止增量预测和动作预测这两个目标互相拖后腿。
三种架构相比原来的Fast-WAM，训练所需的算力分别减少了17.78%、21.79%和23.77%。其中Anchor-Shared在任务成功率上表现最好，说明让增量预测直接借用预训练视频骨干的知识，是这三种设计里收益最大的选择。
流式增量记忆：不用每次都全部重看
解决完训练阶段的问题，作者接着对付推理阶段的瓶颈，提出了流式增量记忆
*流式增量记忆（Streaming Delta Memory，简称SDM）：一种把观察到的视觉变化转化成可持续更新的缓存状态的机制，机器人不需要每次都重新处理完整画面，只需要把新观察和上一次观察之间的差异编码后追加进缓存*
SDM的做法是，先完整处理一次参考画面，把这次处理得到的逐层键值缓存保存下来。之后每当有新的观察进来，模型不再重新处理整张画面，而是只编码这次观察和上一次观察之间的差异，把这个差异对应的新键值对追加进已有的缓存里，前面积累的所有历史信息保持不动。
这个思路让人联想到一种记账方式：与其每天从头把所有历史交易重新算一遍余额，不如只记录今天新增的收支，加到昨天算好的余额上。如果每天都要从头算一遍，账本越翻越厚，算的时间也越来越长；只记增量的话，无论账本积累了多久，每天要处理的信息量始终是恒定的一小笔。SDM把这个思路搬到了机器人的视觉记忆里，让每一步推理只需要处理"这一步和上一步比多了什么"，而不是每次都把整个场景从头看一遍。
为了防止缓存的参考画面因为场景持续变化而变得过时，SDM还设计了周期性的参考帧刷新机制，定期重新用最新的观察建立缓存起点。另外还有一个异步更新机制，让机器人在当前这组动作还没执行完的时候，就提前拿到下一次观察并在后台把缓存更新好，这样动作执行完毕的瞬间，新的视觉上下文已经准备好了，不用再等。
论文里训练SDM的时候用了一种叫做因果记忆增强训练
*因果记忆增强训练：训练时随机抽取一段历史长度，让模型学习在不同长度的历史记忆下都能正确预测，同时用因果注意力掩码保证每个时刻只能看到过去而看不到未来，从而让训练时的信息可见范围和实际部署时保持一致*
的方法，专门保证训练阶段模型看到的信息结构和真实部署时完全一致，不会出现训练时"偷看"了不该看到的未来信息这种情况。
实测下来，SDM把视觉和参考帧相关的键值计算量降低了71.97%，一步式推理的延迟和算力分别减少了36.57%和31.55%，成功率基本保持不变。
实验数据说了什么
在RoboTwin 2.0这个仿真基准上，DeltaWAM在前十个双臂操作任务上的表现相当亮眼。
拿最基础的五个任务来说，在画面干净的标准环境下，Fast-WAM的平均成功率是86.2%，DeltaWAM把它推高到86.4%；而在加入视觉干扰（比如随机改变纹理、光照）的环境下，Fast-WAM只有79.0%，DeltaWAM能做到82.6%，加上SDM之后进一步提升到86.6%。
这个数字差异背后藏着一个值得琢磨的现象：加了SDM之后，干净环境下的成功率反而从86.4%降到了82.8%，但随机干扰环境下却涨了4个百分点。这说明SDM积累的历史变化信息，在场景稳定的时候可能没那么关键，但一旦环境开始"捣乱"，这种持续追踪变化的能力就显得特别重要，相当于一个人如果长期在稳定的环境里工作，可能不太需要时刻警觉周围的风吹草动，但一旦环境变得不可预测,能不能敏锐察觉到每一次微小变化，直接决定了他能不能应付得来。
再看另外五个补充任务，Fast-WAM在干净和随机环境下的平均成功率是76.4%和72.6%，DeltaWAM加SDM之后直接拉到88.0%和81.2%。把十个任务全部合并起来看，DeltaWAM加SDM的整体表现是干净环境85.4%、随机环境83.9%，对比Fast-WAM的81.3%和75.8%，两边差距都在四到八个百分点之间，这在机器人操作任务里已经算是相当明显的提升。
训练算力方面，三种架构分别比Fast-WAM节省17.78%到23.77%不等。推理算力方面，SDM把和视觉参考相关的计算量砍掉了71.97%，一步式推理整体延迟降低36.57%，算力降低31.55%。
消融实验也印证了每个设计模块的必要性。完全去掉锚点网络，只用增量信息做预测，成功率会从80%左右暴跌到32.6%和35.2%，说明稠密参考画面提供的完整场景语义是没法省略的基础。这也验证了前面说的那个道理：变化信息很重要，但没有一个稳定的参照系，变化就失去了意义，就像只告诉你"温度上升了5度",却不告诉你起点是零下还是三十度,这个信息本身就没什么用。
作者还测试了增量编码器的选择。用DeltaTok（一种专门把帧间差异压缩成单个token的编码方式）替换掉DreamDojo里的隐动作模型，成功率从75.2%和81.2%涨到了85.2%和80.0%，说明选对增量表示方式本身就能带来实打实的收益。
真实机器人实验部分，作者在一台双臂机器人平台（配备两只RealMan RM75-6F机械臂）上设计了三个任务：桌面整理、方糖摆放、碗叠放。这三个任务分别考验多物体整理能力、精细双臂协调能力，以及接触密集的叠放操作。结果显示，DeltaWAM整体成功率41.67%，超过π0.5的38.33%和Fast-WAM的35.00%；整体归一化进度指标上，DeltaWAM达到72.14%，也是三者中最高的。
这个思路还有什么没解决
论文也很坦诚地指出了当前方案的短板：增量编码器本身也是要花算力的，训练阶段它额外增加了3.048 TFLOPs，推理阶段增加了0.457 TFLOPs，这部分开销抵消了一部分从视频专家那边省下来的算力。换句话说，省下来的钱有一部分又花在了记账本身这件事上。作者也提到，未来会探索更轻量的增量编码器，来进一步压缩这部分开销。
有意思的是，作者还专门画了一张图，比较锚点网络的宽度和训练算力之间的关系，随着骨干网络越做越大，DeltaWAM相比Fast-WAM省下来的算力差距会越拉越大。这意味着这个"只记录变化"的思路，越到大模型时代，价值可能越明显,不是一次性的小修小补,而是一个随着模型规模增长而持续放大的结构性优势。
写在后面
读完这篇论文，有个细节让我印象很深：DeltaWAM在"干净环境"下的表现有时候反而不如没有SDM的版本,这个反直觉的结果比论文里任何一个正向提升的数字都更有意思。它说明"记住历史变化"这件事并不是无条件的好东西,在场景稳定的时候,额外的历史信息甚至可能变成一种干扰,只有在环境真正开始波动的时候，这种能力才显出价值。这提醒我们，任何一种"增强鲁棒性"的设计,都得配合具体的应用场景去权衡，不存在放之四海皆准的优化。
另一个值得琢磨的地方是，这篇论文其实在做一件很朴素的事：把"什么该记住、什么该丢掉"这个人类每天都在无意识做的判断，尝试用结构化的方式教给机器。人在看世界的时候从来不会平均分配注意力，眼睛会自动聚焦在变化的、危险的、有意义的地方，背景里静止不动的东西几乎不会进入我们的工作记忆。DeltaWAM某种程度上是在把这种"选择性注意"的能力，用稠密锚点加稀疏增量这种数学结构显式地实现出来。
那么下一个问题自然就出现了：如果连"看"这件事都可以拆成锚点和增量，那"听"呢，"触觉"呢？机器人的其他感知通道是不是也存在类似的冗余，等着被同样的思路重新设计一遍？
Q&A
Q1：DeltaWAM是什么？
A：DeltaWAM是北京大学团队提出的一种机器人世界-动作模型，它把视觉信息拆分成稠密的参考画面和稀疏的变化信息两部分分别处理，减少了训练和推理阶段的重复计算，在RoboTwin仿真基准上把平均成功率从Fast-WAM的81.3%提升到85.4%。
Q2：DeltaWAM和Fast-WAM有什么区别？
A：Fast-WAM在推理时每次都要把完整画面输入视频专家网络，DeltaWAM加上流式增量记忆后，只需要处理新旧观察之间的变化部分，视觉相关计算量减少71.97%，推理延迟降低36.57%，成功率还更高。
Q3：流式增量记忆（SDM）具体怎么工作？
A：SDM先完整处理一次参考画面并缓存结果，之后每次新观察到来时，只编码它和上一次观察的差异并追加进缓存，历史信息不用重复计算，同时通过周期性刷新参考帧防止缓存过时。
