Token导航 LogoToken导航

AI 资讯 · 科技行者

AffordanceWAM用可供性打通人机数据鸿沟

更新 2026-11-23科技行者正文 6495字阅读约 21分钟

你有没有想过,为什么教机器人干活这么难?

你随手示范一次倒水,孩子可能看一眼就学会了。但机器人不行。它需要成千上万次手把手的示教,每一次都得记录精确的关节角度和力矩数据。这种"动作标注"视频拍起来极其昂贵,还天然受限,毕竟没人能把世界上所有物体的所有操作方式都示教一遍。

与此同时,网上躺着海量的人类操作视频。做饭、整理房间、开抽屉拿东西,YouTube和各种第一视角数据集里这些素材多到数不清。问题是,这些视频里没有机器人的动作标签,人的手和机械臂长得也不一样,视角、速度、动作习惯全都对不上。直接拿来训练机器人,很可能不仅没用,反而帮倒忙。

这篇论文要解决的就是这个老大难问题:怎么让机器人从人类视频里真正学到东西,而不是被人类视频的噪声带偏。

### 当时的技术卡在哪里

在这篇论文之前,研究者已经尝试过两条路子。

第一条路是把人类动作硬翻译成机器人动作,比如追踪人手的轨迹,再想办法映射到机械臂的运动上。这类方法的代表是EgoMimic和EgoScale这样的工作,它们能让机器人从人类视频里学到一些东西,但效果高度依赖"翻译"得准不准,人手和夹爪的运动学天差地别,强行对齐常常引入误差。

第二条路是最近兴起的世界-动作模型,英文简称WAM

World Action Model:一种把"预测未来会发生什么"和"决定该怎么做"统一在一个模型里训练的架构,不再是视频预测模型和动作策略模型各自为政。

这类模型的思路是,既然人类视频没有动作标签,那就让它去监督"世界怎么变化"这部分,比如UVA、UWM这些工作都是这个路子。但这里有个隐藏的大问题:这些模型预测的"未来世界"基本上就是RGB图像或者图像的隐空间编码,说白了就是预测画面会变成什么样子。画面能告诉你场景怎么动、光影怎么变,但它没法直接告诉你"哪个物体是任务相关的"、"该在哪里下手"。这种表示方式和真正指导动作生成所需要的信息,中间隔着一层。

论文的研究者们意识到,问题的根子出在表示方式上。如果世界模型预测的是原始画面,那么人类视频和机器人视频共享的只是"像素怎么变",而像素怎么变天然就包含了大量和任务无关的东西,背景、光线、人的穿着、摄像机抖动。这些差异恰恰是跨具身迁移最大的拦路虎。

### 用"可供性"作为桥梁

论文给出的答案是引入一个叫做可供性的概念。

Affordance:心理学家吉布森提出的概念,指物体本身所提供的交互可能性,比如一个杯子的把手"affords"抓握,一扇门的把手"affords"拉动。简单说就是"这个东西能被怎么用"。

AffordanceWAM把可供性拆成两个互补的部分。第一个叫标量可供性,是一张和画面对齐的热力图,每个像素取0到1之间的值,标出"这里是任务相关的交互区域"。第二个叫可供性热力图,是把标量可供性渲染回原始RGB画面上得到的一张图,让交互区域和它周围的视觉上下文产生关联。

这两个东西和RGB预测一起,构成了"未来世界"的三条预测流。换句话说,这个模型不只是在猜"画面会变成什么样",还在猜"这个画面里哪里能动手,这个能动手的地方长什么样"。

这里有个关键的设计思路值得琢磨。人类的手和机器人的夹爪动作方式完全不同,但一个苹果该在哪里被拿起来,这件事对人和机器人是一样的。可供性描述的正是这种"物体本身允许被怎么交互"的属性,它和具体用什么去执行交互无关。这就让人类视频和机器人视频第一次有了一个真正共享的监督目标,不是在动作空间里对齐,而是在交互空间里对齐。

打个比方。假设你要教两个徒弟修自行车,一个用左手惯用,一个用右手惯用。如果你直接录下自己拧螺丝的手部动作视频给他们看,左撇子徒弟很难直接照搬,因为握持的角度、发力的方向全反了。但如果你换一种教法,在图纸上圈出"这颗螺丝在这里,用扳手从这个方向拧",两个徒弟都能看懂,因为你教的是"哪里需要被操作",而不是"我的手具体怎么动"。可供性干的就是这件事,它把"在哪里交互"这个和执行者无关的信息单独抽出来,作为人和机器人都能理解的通用语言。如果不这样做,继续用原始动作或者原始像素去对齐,那差异就永远卷在里面甩不掉。

### 双专家架构:世界专家和动作专家

有了可供性这个表示,接下来的问题是怎么把它用进模型架构里。

AffordanceWAM用了一个双专家的设计。一个叫世界专家,负责预测未来的RGB画面、标量可供性、可供性热力图这三条流。另一个叫动作专家,负责根据世界专家给出的中间特征,生成连续的机器人动作。

两者的底子是一个预训练好的视频扩散Transformer。

Diffusion Transformer:一种通过逐步去噪生成内容的神经网络架构,训练时先把干净数据加噪声,再让模型学会把噪声一步步还原成数据,常用于图像和视频生成。

世界专家就是在这个预训练骨干上微调而来,而动作专家是单独参数化的一套网络,专门处理机器人的连续控制信号。

两个专家之间怎么沟通是这篇论文设计最巧妙的地方,叫做掩码联合自注意力。

Masked Joint Self-Attention:一种限制了信息流动方向的注意力机制,允许某些token看到另一些token的特征,但反过来禁止,防止不该发生的信息泄漏或捷径。

具体规则是这样的:RGB和标量可供性这两路特征可以互相看,谁也不瞒谁;可供性热力图能看RGB和标量可供性,但动作专家不能看可供性热力图;动作专家能看RGB和标量可供性,但它产生的特征不能反过来影响世界专家的预测。

这个设计背后藏着两个考量。第一,不让动作去影响世界预测,是为了保证世界专家学到的是纯粹的场景动态规律,不被机器人特定的控制信号污染,这样人类视频才能安心地只训练世界专家这部分,不用担心破坏动作相关的结构。第二,为什么专门把可供性热力图这条路堵死不让动作专家用?因为可供性热力图里保留了大量原始RGB的外观信息,如果让动作专家也能直接读取它,就相当于给了动作专家一条"抄近道看原始画面"的捷径,模型很可能偷懒直接靠外观特征做判断,而不是真正学会利用标量可供性里那种纯粹的"交互位置"信息。论文里专门做了实验验证这个猜测:打开这条捷径之后,RoboCasa的成功率从69.4%掉到63.5%,CALVIN的平均完成长度从4.22降到3.85。这个数字差距证明这条捷径确实存在,而且确实有害。

这让我想起小区门禁系统的设计。如果给访客卡既能刷开单元门也能刷开所有住户家门,图是方便了,但谁都能借道进别人家。真正安全的做法是访客卡只能开单元门,想进具体某户,必须单独走那户的验证流程。掩码联合自注意力做的就是这种"按需开放权限"的事,世界专家内部信息随便流通,但动作专家只能拿到它该拿到的那部分,其他的一律挡在外面。如果不做这层隔离,动作专家大概率会学到一条看似有效实则脆弱的捷径,一旦遇到场景外观和训练时差异大的情况就容易翻车。

### 人类视频和机器人视频的不对称训练

有了架构,训练策略也跟着调整了。

人类视频没有动作标签,所以它只能激活世界专家,监督RGB、标量可供性、可供性热力图这三条流。机器人轨迹除了监督这三条流之外,还额外通过层级耦合去监督动作生成。这意味着两种数据在模型里扮演的角色天然不对称:人类数据负责打磨"世界怎么演化"这部分的理解,机器人数据负责把这种理解落地到具体的控制指令上。

这套训练分两个阶段。第一阶段是异构联合预训练,在超过300小时的人类视频和大约40万条机器人轨迹上一起训练,人类数据来自Ego4D、EPIC-KITCHENS、HOI4D等几个第一视角数据集,机器人数据来自DROID、RH20T、BridgeData V2等几个主流机器人数据集。第二阶段是针对具体任务的后训练,这时候整个世界模型被冻结,只用没有可供性标注的机器人示教数据去微调动作专家。

整个流程遵循扩散模型里常见的流匹配

Flow Matching:一种生成模型的训练方式,通过学习一个"速度场",把随机噪声一步步地沿着某条路径"推"向真实数据,和传统扩散模型的去噪过程类似但数学形式更简洁。

目标函数,世界预测这边由RGB重建损失、标量可供性损失、可供性热力图损失、还有一个标量可供性编解码器的重建损失加权组合而成,机器人数据额外加上动作损失。

### 这套设计到底有没有用

光讲设计思路总显得有点空,论文里给出了一组对照实验,结果相当能说明问题。

在RoboCasa这个家居场景操作基准上,研究者做了一个2乘2的对照实验,同时控制"是否使用人类视频"和"是否使用可供性表示"这两个变量。结果出现了一个很戏剧性的反转:

没有可供性的情况下,加入人类视频反而让RoboCasa成功率从57.3%掉到55.1%,CALVIN的平均完成序列长度从3.75降到3.68。

但有可供性的情况下,同样加入人类视频,RoboCasa成功率从63.7%提升到69.4%,CALVIN序列长度从3.91提升到4.22。

这个对比非常关键。它说明人类视频本身不是万能药,甚至可能是毒药,关键看它通过什么表示进入模型。没有可供性作为桥梁时,人类视频带来的视觉和具身差异只会给模型添乱,场景变了、手变成了夹爪、动作风格完全不同,模型学不到有用信号,反而被这些噪声干扰了判断。而有了可供性,人类视频里蕴含的"哪里能交互"这个信息被提纯了出来,真正帮助了机器人学习。

| 方法 | RoboCasa成功率 | CALVIN平均长度 |

|---|---|---|

| 无人类视频,无可供性 | 57.3% | 3.75 |

| 无人类视频,有可供性 | 63.7% | 3.91 |

| 有人类视频,无可供性 | 55.1% | 3.68 |

| 有人类视频,有可供性(完整模型) | **69.4%** | **4.22** |

研究者还做了一个数据规模扩展实验,固定机器人数据不变,逐步增加人类数据的比例,看RoboCasa成功率怎么变化。结果显示,从0%加到60%的人类数据,成功率只涨了1.5个百分点,但从60%涨到100%,又多涨了4.2个百分点,占了总提升的大约74%。这种先慢后快的曲线很耐人寻味,它暗示少量人类数据可能不足以覆盖足够多样的物体和交互场景,只有当数据规模跨过某个门槛,广泛的交互覆盖面才能真正和共享的可供性结构产生共振,而不只是增加外观上的噪声。

这个现象让我联想到学外语。背100个单词和背3000个单词,效果差异可能不是线性的。背100个单词时,你遇到的很多句子依然看不懂,因为覆盖面太窄;但背到3000个常用词之后,你会发现突然能读懂大部分日常文本了,因为词汇覆盖开始形成网络效应。人类交互数据的规模效应可能也是类似的道理,少量数据提供的是零散的交互案例,大量数据提供的才是能和可供性结构真正对齐的系统性知识。

### 在真实世界和模拟环境里的全面胜利

说了这么多消融实验,再看看整体性能表现。

在RoboCasa上,AffordanceWAM达到69.4%的平均成功率,超过同为视频基座方法的Cosmos Policy的67.1%,也超过π0的62.5%、GR00T-N1.5的64.1%等一众强力基线。

在CALVIN ABC到D这个跨环境泛化基准上(训练时用A、B、C三个环境,测试在完全没见过的D环境),AffordanceWAM达到4.22的平均完成序列长度,超过此前最好的VPP方法的4.01。完成1到5个连续任务的成功率分别是96.1%、92.8%、85.5%、77.8%、69.5%,全面超过对照方法。

真实世界的实验可能更有说服力,因为模拟环境再逼真也和现实有差距。论文设计了一套真实机械臂任务,包括五个基础的拾取放置任务和三个复杂任务(关抽屉、拣所有水果、摆花)。两种方法都用同样的50条轨迹微调,在相同条件下测试15次。

结果显示AffordanceWAM在基础任务上的宏观平均成功率从Cosmos Policy的42.7%提升到74.7%,关抽屉任务成功率从46.7%提升到80.0%,摆花任务从6.7%提升到20.0%,拣三个水果全对的成功率从26.7%提升到53.3%。这些数字差距相当大,考虑到两者用的微调数据量完全相同,差异完全来自预训练阶段学到的表示质量。

### 可供性的两个组件各自在干什么

论文里还有一组有意思的消融,分别去掉标量可供性和可供性热力图这两个组件,看会出现什么问题。

去掉标量可供性之后,由于可供性热力图本身RGB成分占大头,世界专家倾向于只学外观变化,把交互相关的结构信息丢得差不多。去掉可供性热力图之后,预测出来的标量可供性逐渐偏离对应的物体区域,说明视觉动态和交互预测之间失去了一致性约束。单独去掉可供性热力图会让RoboCasa成功率从69.4%降到65.4%,CALVIN序列长度从4.22降到3.99。

这说明这两个组件不是简单的冗余备份,而是各自承担了不同的约束角色。标量可供性负责明确标出"任务相关区域在哪",可供性热力图负责把这个区域和它周围的视觉上下文绑定在一起,防止预测出的交互区域和真实画面脱节。拿掉任何一个,另一个都会出现各自的毛病,这恰好证明两者是互补关系,而不是可以互相替代的冗余设计。

### 这篇论文留下的问题

论文的后续分析里有一组失败案例分析挺值得玩味。研究者把模型的错误预测分成几类:空间漂移(预测的交互区域偏离了对应物体)、RGB复制坍缩(外观结构主导了可供性热力图的预测,削弱了交互定位能力)、错误物体定位(预测结果紧凑但选错了物体)。这些失败模式说明即便设计了专门的表示和注意力掩码,模型依然有可能走捷径或者出错,可供性这条路没有把问题彻底解决,只是提供了一个更好的起点。

论文还提到一类诊断,叫"世界预测正确但控制失败",也就是说即便模型准确预测了画面会怎么变、哪里该交互,实际执行时依然可能因为接触力、运动学限制或执行误差而失败。这提醒我们,哪怕表示层面的问题解决得再好,具身执行这最后一公里依然是个独立的难题。

### 写在后面

读完这篇论文,最让我意外的不是架构设计本身,而是那个2乘2对照实验里的符号反转。人类数据加进来,有可供性时帮忙,没可供性时添乱,这个干净利落的对比比任何复杂的理论推导都更有说服力。它其实在提醒一个容易被忽略的事:数据多不等于有用,关键要看这些数据通过什么通道、以什么形式进入模型。这个道理放在很多其他领域大概也成立,不只是机器人学习。

另一个让我反复琢磨的地方是那条"可供性热力图到动作专家"的捷径被刻意堵死的设计。研究者没有想当然地认为"信息越多越好",反而主动去阻断一条看起来能提供更多信息的路径,因为他们猜到这条路径可能诱导模型偷懒。这种对捷径学习的警惕性,比单纯堆砌更多模态输入要难得多,也更考验对问题本质的理解。实验数据证明这种警惕是对的,打开这条路之后性能明显下降。

论文里提到的人类数据规模效应曲线,先慢后快,这条曲线背后到底是什么机制在起作用,论文没有深入解释。是不是存在某个临界的物体和场景覆盖度,一旦跨过这个点,可供性结构的泛化能力就会突然增强?这个问题如果能搞清楚,或许能帮我们更精确地判断,到底需要收集多少小时的人类视频,才能真正撬动机器人学习的效率。

Q&A

Q1:AffordanceWAM是什么?

A:AffordanceWAM是一种结合了世界模型和动作模型的机器人操作学习架构,核心创新是用可供性(标量可供性和可供性热力图)作为桥梁,让没有动作标签的人类视频也能有效帮助机器人学习控制。

Q2:为什么人类视频直接用来训练机器人反而可能有害?

A:因为人类的手部动作、拍摄视角、场景外观和机器人完全不同,如果没有共享的中间表示,这些差异只会给模型添乱。论文的对照实验显示,没有可供性监督时,加入人类视频反而让RoboCasa成功率从57.3%降到55.1%。

Q3:AffordanceWAM在真实机器人任务上表现如何?

A:在相同的50条微调轨迹下,AffordanceWAM把基础任务的平均成功率从42.7%提升到74.7%,关抽屉任务从46.7%提升到80.0%,摆花任务从6.7%提升到20.0%,全面超过对照的Cosmos Policy方法。

文章标签机器人

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。