作者：田小幺
编辑：李宝珠
转载请联系本公众号获得授权，并标明来源
英伟达联合麻省理工学院、香港大学和加州大学圣迭戈分校提出 Long-WAM——一种结合自回归视频预训练、世界动作建模与实时推理优化的机器人控制框架。该研究利用约 10,000 小时（按训练窗口折算）的机器人及人类第一视角视频学习物理交互规律，使模型能够根据历史观测预测未来状态，并生成相应动作。
机器人要完成抓取、搬运、堆叠等操作，不仅需要识别物体的位置和形态，还需要根据连续的视觉信息判断物体的运动状态和任务进展。对于快速移动的目标，单张图像往往难以提供足够的信息，而处理过长的历史视频又会增加计算开销，影响机器人的实时响应。如何有效利用历史信息，同时保持动作控制的准确性和及时性，是具身智能领域的重要研究问题。
近年来，世界动作模型（World-Action Model，WAM）将视频预测与机器人控制相结合，使模型能够根据历史观测预测环境变化，并据此生成动作指令。然而，现有方法虽然可以通过缓存或记忆机制保留历史信息，却未必能够有效利用这些信息。随着上下文长度增加，更多的观测数据能否真正改善控制效果，以及如何控制由此增加的计算成本，仍有待研究。
针对这一问题，英伟达（NVIDIA）联合麻省理工学院、香港大学和加州大学圣迭戈分校提出 Long-WAM——一种结合自回归视频预训练、世界动作建模与实时推理优化的机器人控制框架。该研究利用约 10,000 小时（按训练窗口折算）的机器人及人类第一视角视频学习物理交互规律，使模型能够根据历史观测预测未来状态，并生成相应动作。在 RoboCasa GR-1 测试中，历史上下文扩展至 19.2 秒后，任务成功率从 63.3% 提升至 78.7%；在真实机器人实验中，动态杯子堆叠的成功率达到 95%。
相关研究成果以「Long-WAM: Scaling the Context of World-Action Models」为题，已发表于预印本平台 arXiv。
查看论文：
https://hyper.ai/papers/2610.10528
约 230 万个视频样本，涵盖机器人与人类操作
Long-WAM 的训练分为视频预训练和机器人动作适配两个阶段。前者通过视频学习物体运动和交互规律，不依赖机器人动作标签；后者利用带有动作信息的机器人操作数据，将视频预测能力转化为控制指令。
在视频预训练阶段，该研究整合了 RoVid-X、AgiBot World、EgoDex、EgoVerse 和 VITRA 五个数据集系列，共获得 2,294,889 个视频样本，按每段 16 秒折算约为 10,004.5 小时。这一时长是训练窗口的累计估算值，并非去重后的原始视频时长。训练集、验证集和测试集分别包含 2,251,021、21,931 和 21,937 个样本。
其中，RoVid-X 是最大的数据集来源，包含 1,898,562 个样本，占总量的 82.7%；AgiBot World 提供约 11 万个样本，补充机器人操作场景。研究人员还引入人类第一视角视频，包括 EgoDex 的 207,044 个样本、EgoVerse 的 59,742 个样本和 VITRA 的 19,210 个样本，分别占总量的 9.0%、2.6% 和 0.8%，以丰富模型对不同操作过程的学习。
由于这一阶段只要求模型根据历史视频预测后续画面，不同来源的数据无需共享统一的关节定义或动作空间。该研究使用最长 30 秒的视频序列，学习较长时间跨度内的运动变化及物体交互关系。
完成预训练后，研究人员进一步使用机器人操作数据开展动作适配，并在 LIBERO、RoboTwin 2.0、DOMINO、RoboCasa GR-1 和 RoboCasa365 等仿真基准，以及 Unitree G1 人形机器人和 YAM 双臂机器人上评估性能，覆盖动态抓取、长时序操作和组合任务规划等场景。
Long-WAM ：自回归视频预测与双专家架构
Long-WAM 的基本思路是根据历史观测预测环境的未来变化，再利用预测结果生成动作。其框架由自回归视频基础模型 LongLive2.0-Robot、视频与动作双专家架构，以及实时推理系统组成，分别负责学习视觉动态、生成动作和降低计算延迟。
自回归视频预训练：学习物理交互规律
LongLive2.0-Robot 以 LongLive-2.0 的 16 秒自回归模型为基础，继续使用机器人及人类第一视角视频训练。自回归（Autoregressive，AR）意味着模型按照时间顺序预测后续内容，只能利用当前及此前的视觉信息，不能提前访问未来的真实画面，与机器人根据已有观测判断未来状态的实际需求一致。
训练过程中，该研究采用序列并行技术，将长视频分配至多个 GPU，并利用教师强制训练机制，根据真实历史视频学习后续视频块的生成。同时引入误差回收机制，修正连续预测过程中可能积累的偏差。预训练使用 64 块 NVIDIA H100 GPU，累计约 30,720 GPU 小时。
完成训练后，模型能够根据初始图像和语言指令预测盖锅盖、拉开抽屉、倒水和折叠 T 恤等交互过程。相关结果表明，模型能够生成与任务目标相符的连续运动及物体状态变化，为后续机器人控制提供视觉动态先验。
双专家架构：利用未来预测生成动作
Long-WAM 采用视频专家与动作专家协同的架构。视频专家根据历史观测预测未来视觉状态，动作专家则结合预测结果、机器人当前状态和语言指令，生成连续动作序列。
两个专家采用非对称注意力机制：视频专家只能读取当前及此前的视觉信息，以保留预训练形成的因果关系；动作专家则能够利用历史观测、未来视觉预测及待生成的动作块，使控制决策同时参考过去和预计的未来状态。
训练分为两个过程，首先根据历史观测和真实未来视频训练视频专家，再利用历史信息及经过加噪处理的未来视觉表示训练动作专家。两个分支均采用流匹配方法学习去噪过程。下游模型使用 16 块 NVIDIA GB200 GPU 训练，采用 AdamW 优化器及 BF16 精度等配置。
推理时，Long-WAM 采用逆动力学建模（Inverse Dynamics Modeling，IDM）策略，先预测未来视觉状态，再生成动作。模型无需还原完整的未来视频画面，而是在执行 4 步视频去噪后，直接利用部分去噪的未来潜在表示及其 KV 缓存进行动作预测，以减少计算开销。
视频与动作注意力模式，以及不同的视频—动作推理策略
实时推理优化：兼顾历史信息与响应速度
一般而言，同时处理历史视频、未来预测和动作生成，会增加计算负担。为满足实时控制要求，研究人员采用异步执行机制，使机器人执行当前动作时，模型能够并行生成下一段动作；流式变分自编码器（VAE）则随着视频帧到达逐步完成编码，减少推理触发后的等待时间。
硬件方面，研究人员采用 NVFP4 四位量化降低视频专家的计算成本，保留 BF16 动作计算精度，并结合 CUDA Graph、KV 缓存复用和设备专属计算优化，提高推理效率。
经过优化，Long-WAM 在 RTX 5090 上将单个动作块的端到端推理延迟从 356.0 毫秒降至 107.4 毫秒，实现 3.3 倍加速；在 DGX Spark 和 Jetson AGX Thor 上的加速比分别达到 4.1 倍和 3.2 倍。
流式 VAE 与异步执行机制
不同边缘计算设备的推理优化方案
19.2 秒历史上下文提升操作成功率
为检验 Long-WAM 能否将更长的历史信息转化为实际控制能力，研究人员从仿真环境逐步扩展至真实机器人操作。一方面，通过调整上下文长度、比较不同预训练方式和动作生成策略，分析模型性能提升的原因；另一方面，在动态抓取、长时序操作和复杂任务规划等场景中，评估其实际控制效果，并进一步考察模型能否满足实时执行的计算要求。
上下文扩展：19.2 秒历史信息提升 15.4 个百分点
研究人员首先比较了双向预训练的 Wan2.2、自回归预训练的 LongLive-2.0，以及机器人领域自回归预训练的 LongLive2.0-Robot，以分析不同预训练方式对历史信息利用能力的影响。
在 RoboCasa GR-1 上，Long-WAM 的成功率从无历史信息时的 63.3% 提升至 19.2 秒上下文时的 78.7%，增加 15.4 个百分点，比最强基线 Cosmos Policy 高出 11.6 个百分点。与此同时，机器人领域自回归模型相对于双向预训练模型的领先幅度，从无历史信息时的 3.3 个百分点扩大至 17.1 个百分点，表明自回归预训练更有利于利用长时序信息。
不同任务对历史长度的需求存在差异。在 LIBERO-Long 上，仅增加 2.4 秒历史信息，就使成功率从 94.5% 提升至 99.5%；而在 GR-1 上，当上下文进一步延长至 38.4 秒时，成功率反而降至 75.2%。该研究发现，该窗口中 80.4% 的历史帧为填充内容，性能下降可能与长时序训练数据不足有关。
不同预训练方式下的上下文扩展效果
仿真测试：未来预测提高复杂操作成功率
在 LIBERO 上，Long-WAM 的平均成功率达到 99.5%，高于 LingBot-VA 的 98.5% 和 Fast-WAM 的 97.6%。其中，在长时序任务 LIBERO-Long 上，不使用未来视频预测、采用视频与动作联合去噪，以及使用先预测未来再生成动作的 IDM 策略，成功率分别为 94.5%、97.8% 和 99.5%，表明未来状态预测有助于改善多步骤操作。
在双臂操作基准 RoboTwin 2.0 上，Long-WAM 的平均成功率达到 94.4%，略高于 ABot-M0.5 的 94.1% 和 LingBot-VA 2.0 的 93.6%。在动态操作基准 DOMINO 上，经过动态数据微调，模型成功率达到 34.9%，操作评分为 45.1，分别比对应指标的最强基线高出 15.0 个百分点和 10.1 分。尽管 DOMINO 的整体成功率仍然有限，但 Long-WAM 在动态操作任务中取得了明显提升。
LIBERO、RoboTwin 2.0、DOMINO 和 RoboCasa 仿真环境
真实机器人：动态杯子堆叠成功率达到 95%
此外，研究人员还在 Unitree G1 人形机器人和 YAM 双臂机器人上开展真实环境测试，每种实验条件重复 20 次。
在 Unitree G1 上，当传送带上的杯子分别以 3.0、4.5、6.0 和 7.5 厘米/秒移动时，Long-WAM 的抓取成功率分别达到 100%、100%、95% 和 90%，而 Fast-WAM 和 π0.5 在最高速度下均未成功。
在更复杂的动态杯子堆叠任务中，机器人需要先抓取蓝色杯子，再拦截移动中的绿色杯子，并将其放入蓝色杯子内部。Long-WAM 在 20 次实验中成功 19 次，成功率为 95%，而两种基线模型均未成功。
在 YAM 双臂机器人上，研究人员进一步测试了按颜色分类积木、将饺子放入平底锅和堆叠碗具三项任务，平均执行时间超过 40 秒，成功率分别为 80%、80% 和 85%，平均达到 81.7%，验证了模型持续执行多步骤操作的能力。
Unitree G1 动态抓取与杯子堆叠实验
YAM 双臂机器人的长时序操作任务
组合任务规划：高层规划将成功率提升至 54.4%
研究人员还在 RoboCasa365 上设置 50 项任务，涵盖原子操作、已见组合任务和未见组合任务，并引入 GPT-6 Astra 作为高层规划模型，将复杂目标分解为具体操作指令。
单独使用 Long-WAM 时，三类任务的成功率分别为 67.9%、15.8% 和 6.1%，总体为 31.4%；引入规划模型后，成功率分别提高至 85.6%、38.8% 和 35.0%，总体达到 54.4%。
作为对比，GPT-6 Astra 单独运行时的总体成功率为 25.2%，与 π0.5 结合后为 30.5%。这一结果表明，较强的底层动作执行能力能够提高高层规划的实际效果，尤其有助于完成此前未见过的技能组合。
实时部署：推理延迟降低约 70%
在 RTX 5090 上，优化后的 Long-WAM 单个动作块推理延迟为 107.4 毫秒，比未经优化的 BF16 版本降低约 70%，推理速度比 Fast-WAM 快 2.3 倍。减少去噪步数后，延迟还可降至 81.8 毫秒，但任务成功率略有下降。
异步执行测试显示，Long-WAM 在 RoboTwin 2.0 上的成功率仅从同步执行时的 94.4% 降至 94.2%，而 Fast-WAM 和 LingBot-VA 分别从 91.8%、92.2% 降至 76.4%、46.7%。当动作块重叠长度由 12 步缩短至 8 步时，Long-WAM 的异步成功率进一步达到 95.0%。
不过，长上下文仍会增加计算成本。在 RTX 5090 上，历史长度从 2.4 秒扩展至 19.2 秒后，推理延迟由 107.4 毫秒增至 341.0 毫秒，说明实际部署仍需根据任务需求与硬件条件合理选择历史窗口。
写在最后
Long-WAM 的研究表明，机器人控制的关键并非保存更多历史信息，而是能否利用历史观测预测未来，并指导动作决策。通过结合自回归视频预训练与世界动作建模，Long-WAM 提升了动态和长时序操作的成功率，并通过推理优化降低了实时部署成本。不过，不同任务对历史长度的需求存在差异，过长的上下文还可能增加延迟、影响性能。目前，该研究仍需针对不同上下文长度分别训练模型，真实机器人上的扩展效果也有待进一步验证。如何根据任务需求动态调整历史窗口，将是后续研究的重要方向。
