你有没有想过,为什么教机器人做一件简单的事,比如把杯子叠起来,会这么难?
人类小孩看一眼大人示范,摸索几次就能学会。但机器人不行。它得先理解你说的"把杯子叠起来"是什么意思,还得看懂眼前的画面,还得知道接下来手该往哪儿伸、力道多大、什么时候该松手。这三件事分别对应着语言理解、视觉感知和动作控制,听起来简单,凑在一起却是个大工程。
过去几年,研究者们找到了两条捷径。第一条是借用已经训练好的语言模型,让它来理解任务指令和画面内容。第二条是借用视频生成模型,让它凭借海量视频训练出的直觉,去预判接下来会发生什么。这两条捷径各自都很好用,但把它们拼在一起的时候,麻烦就来了。
这篇来自中科院自动化所、北京中关村学院等机构的论文,提出了一个叫PINT的模型,试图解决这个拼接难题。它的核心思路不复杂:不是让两个专家模型互相深度纠缠,而是让它们通过一个轻量的"共享意图"来协作,各自保留自己最擅长的能力。
拼接的代价:谁都没法做好自己最擅长的事
先说说问题出在哪儿。
VLM*:视觉语言模型(Vision-Language Model),能同时理解图片和文字,通常基于大规模互联网数据训练出强大的语义推理能力。
VGM*:视频生成模型(Video Generation Model),通过海量视频预训练获得对物理世界运动规律的直觉,比如知道杯子掉下去会摔碎,手伸过去抓取物体时手指会收拢。
这两种模型各有各的"脾气"。VLM习惯处理离散的语言符号,推理方式是一步步的逻辑链条。VGM习惯处理连续的像素流,预测方式是对物理规律的模糊直觉。它们是用完全不同的架构、不同的训练目标、不同的数据喂出来的,内部表示方式天差地别。
现在很多研究的做法是,把VLM、VGM和负责生成动作的模块直接拼在一起,让它们在每一层都互相"看"对方的内部状态,这种做法通常叫做共享注意力融合。论文里统计,这类直接融合的方法在面对没见过的新环境时表现很差:在RoboTwin 2.0的困难测试集上,一个叫StarVLA的代表性方法成功率只有3.2%,另一个叫Fast-WAM的方法更是只有1.8%。
这组数字说明了什么?意味着机器人在熟悉的环境里表现还凑合,可一旦灯光变了、背景换了、东西摆的位置不一样了,它基本就抓瞎了。100次尝试里,成功不到2次。
这就像让一个精通法语的翻译和一个精通油画的画家,被要求同时用同一只手画画又说话。翻译的语感会被画画的动作打断,画家的笔触也会被说话的节奏带偏。如果不想办法把两件事分开,两边都做不好,最后画出来的东西四不像,说出来的话也磕磕巴巴。直接把VLM和VGM在每一层都强行绑在一起共享计算,本质上就是逼着两个专精不同的系统,用同一套神经网络资源同时处理语义推理和物理预测这两件完全不同的事情,谁的专长都保不住。
那怎么办?PINT给出的答案是:别让它们深度纠缠,而是设计一个"传话筒"。
共享意图:一个专门负责"传话"的中间层
PINT的核心创新,是设计了一种叫做Predictive Intent(预测意图)的表示方式。
Predictive Intent*:一段压缩过的、代表"接下来这个动作块要做什么"的向量表示,由若干个可学习的Intent Tokens(意图令牌)产生,它不属于VLM,也不属于VGM或动作专家,而是三者共享的一个接口。
具体怎么实现的呢?研究者在VLM处理文字、图片、机器人状态信息的序列末尾,插入了32个可学习的Intent Token。VLM正常跑一遍前向传播之后,这32个token在最后一层的隐藏状态,就被抽取出来作为Predictive Intent。
关键的设计在于,这个Predictive Intent只被用来替换VGM原本接收的文字提示(prompt)。VGM原本是靠一句话的文字描述来决定要生成什么样的视频,现在PINT把这句话换成了Predictive Intent这段向量。VGM的其他部分,包括它从海量视频中学到的生成能力和注意力机制,全部原封不动地保留下来。
同时,负责生成具体动作的模块(论文中叫Action Expert,简称AE)也读取同样这段Predictive Intent,另外还会去看VGM在处理当前画面时产生的中间层特征,这个过程是单向的:动作专家可以"偷看"VGM的思考过程,但VGM完全感觉不到动作专家的存在,不会被它打扰。
这就像一个大型手术团队里,主刀医生(VLM)看完病人片子后,不需要亲自去指导麻醉师具体怎么调配药量,而是写一张简明扼要的手术计划单(Predictive Intent),麻醉师(VGM)和护士(AE)各自拿着这张计划单去做自己最擅长的事。麻醉师还可以随时瞄一眼手术台上正在发生的情况来调整节奏,但手术台上的具体操作不会反过来干扰主刀医生写计划单的思路。如果不这样分工,而是让主刀医生每做一个动作都要亲自对接麻醉师和护士的每一步操作,整个团队的效率和专业度都会被拖垮,这正是直接融合方案的问题所在。
论文里还提到,他们额外测试了一种叫Split Intent(拆分意图)的变体,给VGM和动作专家各自分配一组独立的Intent Token,而不是共用一组。结果在RoboTwin 2.0上,成功率反而从68.6%/15.5%掉到了65.1%/11.8%。这说明让两个专家共享同一段意图表示,比各自为政效果更好,因为共享能强迫这段表示去捕捉两边都需要的共同信息,而不是各自为政地只服务单一目标。
两段式训练:先学"意思",再练"手感"
光设计好结构还不够,怎么训练出一段真正有用的Predictive Intent,是另一个难题。
论文的做法是分两个阶段训练。
Stage 1(第一阶段):把VGM整个冻结住,只训练VLM、Intent Token和动作专家。这时候,如果想让未来视频预测得准,梯度就必须完全通过Predictive Intent这条唯一通道往回传。
这一步的巧妙之处在于,VGM被冻住了,它没法自己调整参数来迁就输入,所以优化未来视频预测这个目标的唯一办法,就是逼着Predictive Intent本身变得更准确、更有信息量。同时,动作预测的损失函数和VLM原本的语言建模损失函数也同时在起作用,三股力量共同塑造出这段意图表示。
Stage 2(第二阶段):反过来,把VLM和Intent Token冻结住,固定住学好的意图表示,转而去调整VGM和动作专家,让它们更好地利用这段固定的意图来生成更精细的视频和动作。
论文里有一张很直观的对比图(原文图3),展示了同一个任务"把容器放到盘子上"在不同训练阶段的视频预测效果。直接训练的Fast-WAM基线模型,在训练环境里预测得还算过关,可一旦换到没见过的场景(比如换了背景、换了光线),预测画面立刻变得模糊混乱,物体轮廓都快认不出来了,论文把这叫做"ID过拟合"。而PINT经过第一阶段训练后,虽然画面还比较粗糙,但已经能抓住"该往哪个方向动"这种任务相关的粗略动态走向;经过第二阶段精修后,动作细节明显更准确。
为什么要分两步,而不是一开始就一起训练?论文做了对照实验,叫做Single-Stage Training(单阶段训练),把所有东西从头到尾混在一起训练同样的总步数。结果RoboTwin 2.0上的表现是65.5%/14.4%,明显低于两阶段训练的68.6%/15.5%。
这就像学做一道复杂的菜,你可以选择边切菜边炒菜边调味一起上手,但大概率手忙脚乱哪样都做不精。更靠谱的办法是先把刀工练扎实(第一阶段,专心把"意图"这个核心骨架搭好),刀工练到位之后再去琢磨火候和调味的细节(第二阶段,专心打磨最终呈现效果)。如果一开始就想着面面俱到,往往会发现刀工还没练好,火候又没把握住,两头都耽误。
实验数据:数字说话的OOD优势
说了这么多设计思路,实际效果到底怎么样?论文在四个场景下做了测试:LIBERO、LIBERO-Plus、RoboTwin 2.0,以及真实世界的双臂机器人实验。
LIBERO*:一个经典的机器人操作基准测试集,包含空间推理、物体操作、目标达成、长程任务四大类子任务。
LIBERO-Plus*:在LIBERO基础上引入七种系统性扰动的升级版测试集,包括相机视角变化、机器人初始状态变化、语言指令变化、光照变化、背景变化、传感器噪声和物体布局变化,专门用来检验模型的泛化能力。
ID/OOD*:ID(in-distribution)指训练数据分布内的测试环境,OOD(out-of-distribution)指训练时没见过的、分布外的测试环境,OOD表现通常被视为衡量模型真实泛化能力的关键指标。
先看LIBERO-Plus这个专门考验泛化能力的测试集。在没有使用额外机器人预训练数据的前提下,PINT拿到了79.5%的总成功率,相比之下,使用同样VGM的Fast-WAM只有51.5%,StarVLA-OFT是75.0%。更值得玩味的是,PINT甚至超过了一些用了额外机器人预训练的"重装选手",比如Motus的76.0%和MemoryVLA++的73.1%。
再看RoboTwin 2.0这个双臂机器人仿真平台,分Easy(简单,对应ID)和Hard(困难,对应OOD,引入了背景、光照、桌面高度等随机扰动)两档。PINT在Easy上是68.6%,比Fast-WAM的72.4%略低一点,但在Hard上是15.5%,而Fast-WAM只有1.8%,差了将近14个百分点。这组数字很说明问题:Fast-WAM在熟悉环境里表现不错,但一碰到陌生场景几乎全军覆没,而PINT虽然在熟悉环境里没有碾压式优势,却在陌生场景下保持了相对稳健的表现。
表格1:LIBERO与LIBERO-Plus关键结果对比(单位:%)
| 方法 | LIBERO平均 | LIBERO-Plus总分 | 是否用机器人预训练 |
|---|---|---|---|
| Fast-WAM | 97.6 | 51.5 | 否 |
| StarVLA-OFT | 96.6 | 75.0 | 否 |
| Motus | 97.7 | 76.0 | 是 |
| **PINT** | **98.0** | **79.5** | 否 |
| PINT-VA | 98.2 | **81.0** | 否 |
真实世界实验更有说服力,毕竟仿真环境和真实场景之间总有差距。研究者在ALOHA双臂机器人平台上测试了五个任务:开灯、叠杯子、插笔、收纳积木、叠毛巾。结果PINT在训练环境下(ID)达到68%成功率,几乎追平了用了大量机器人预训练数据的π0.5(67%),远超同样用了预训练的Motus(35%)。在分布外环境下(OOD,同时改变光照、背景和物体位置),PINT达到24%,比Motus的9%高出不少,不过还是不及π0.5的35%。
表格2:真实世界五任务平均成功率对比(单位:%)
| 方法 | ID平均 | OOD平均 | 是否用机器人预训练 |
|---|---|---|---|
| Motus | 35 | 9 | 是 |
| π0.5 | 67 | **35** | 是 |
| **PINT** | **68** | 24 | 否 |
这组数据背后有个值得琢磨的现象:PINT完全没有用额外的机器人专属预训练数据,却能在分布内任务上打平甚至超过用了预训练的强力对手,分布外任务上也明显超过部分预训练对手。这说明预测意图这个设计本身,可能已经部分替代了预训练数据原本要提供的那种"见多识广"的效果。当然,π0.5在OOD上的领先也提醒我们,大规模机器人预训练确实还有它独特的价值,PINT的设计和预训练数据并不是互相排斥的两条路,未来结合起来可能会更强。
拆解每一个零件:消融实验告诉你哪个设计最重要
一个模型效果好,到底是因为哪个设计起了作用?论文做了详尽的消融实验来回答这个问题,拆掉每个零件分别看效果掉多少。
先看最核心的设计,用Predictive Intent替代原本的文字提示去条件化VGM,这个改动到底值不值。论文测试了一个叫做"Prompt-conditioned VGM"的变体,也就是让VGM继续用老办法接收文字指令,而不是接收压缩过的意图向量。结果在RoboTwin 2.0上,成功率从68.6%/15.5%掉到了62.4%/11.1%;在LIBERO/LIBERO-Plus上,从98.0%/79.5%掉到了95.9%/63.4%。
这个数字差距特别值得停下来想一想:LIBERO本身的成绩只掉了2.1个百分点,但LIBERO-Plus却掉了16.1个百分点。换句话说,用不用Predictive Intent,在熟悉场景下差别不大,但一到陌生场景,差距立刻被放大了接近8倍。进一步拆解发现,背景变化和机器人初始状态变化这两类扰动下,成绩分别暴跌了45.7和34.6个百分点,这几乎是灾难性的下滑。
为什么会这样?直接用原始文字提示去驱动VGM,这套机制是VGM在海量互联网视频上预训练好的,面对训练数据里没见过的组合场景时很容易"失忆"。而Predictive Intent是专门针对当前具体任务学出来的一段浓缩表示,它更像是给VGM递了一张"划了重点的考试提纲",而不是让它自己去茫茫题海里现场摸索。
再看自回归监督这个设计,也就是让VLM在训练时除了产生Predictive Intent之外,额外去预测一串离散的动作token作为辅助任务。去掉这个辅助任务后,成绩从68.6%/15.5%降到67.3%/12.2%,降幅不算特别剧烈,但依然存在。
还有个很有意思的发现,关于动作专家是否应该直接"偷看"VGM的中间层特征。去掉这个连接之后(也就是动作专家完全只依赖Predictive Intent,看不到VGM的实时视觉特征),成绩从68.6%/15.5%降到65.9%/14.6%。这说明仅靠一段压缩的意图向量,还不足以涵盖所有有用信息,动作专家确实需要额外看一眼VGM此刻正在"想"什么画面,才能做出更精准的动作决策。
表格3:核心设计消融实验结果(RoboTwin 2.0,单位:%)
| 设置 | Easy | Hard |
|---|---|---|
| Prompt-conditioned VGM(不用Predictive Intent) | 62.4 | 11.1 |
| Split Intent(拆分意图不共享) | 65.1 | 11.8 |
| 去掉第一阶段的视频损失 | 63.2 | 11.5 |
| 去掉VGM到动作专家的特征连接 | 65.9 | 14.6 |
| 去掉自回归监督损失 | 67.3 | 12.2 |
| 单阶段训练(不分两步) | 65.5 | 14.4 |
| **完整PINT** | **68.6** | **15.5** |
这一串消融实验拼起来,像是把一台精密机器的每个齿轮依次拆下来看它转得顺不顺。每个齿轮单独看好像都不是决定性的,但拼在一起,每一个都在为最终那组数字添砖加瓦。要是少了任何一个,整台机器的运转效率都会打折扣,尤其是在陌生环境这种"压力测试"场景下,缺陷会被放大得特别明显。
意图长什么样子:一次可视化的小尝试
论文还做了一个挺有意思的可视化实验,试图回答一个问题:Predictive Intent里到底装了什么?
研究者把训练数据里每一段真实的动作轨迹,用t-SNE*(一种把高维数据压缩到二维平面上、同时尽量保留数据点之间相对远近关系的可视化技术)投影到一个二维平面上,然后用每个点对应的Predictive Intent经过PCA*(主成分分析,一种降维方法,这里用来把意图向量压缩成三个数值,分别对应红绿蓝三个颜色通道)降到三维,映射成颜色。
结果呈现出一种有结构的色彩分布:相似的动作行为,比如"往回拉"、"合拢右边的夹爪"、"水平抓取"等等,在色彩图上会聚成相近的色块。这说明Predictive Intent虽然只是一段压缩向量,但它确实学到了捕捉动作行为结构的能力,而不是一堆杂乱无章的数字。
这就好比给图书馆里的每本书贴一张色卡,如果色卡的颜色能大致反映出书的主题分类,比如所有历史书偏棕色、所有科幻书偏蓝色,那说明这套贴色卡的规则是靠谱的,确实抓住了书本身的某种本质特征,而不是随手乱贴的。
推理速度的代价:天下没有免费的午餐
值得一提的是,PINT在性能提升的同时,也带来了一定的推理延迟。论文测试了在单张A100显卡上生成一个32步动作块所需的时间:Fast-WAM是266毫秒,PINT是331毫秒,而论文另外提出的一个增强版本PINT-VA(让动作专家能看到VGM在所有视频帧上的特征,并且让视频和动作同步去噪)则需要776毫秒。
PINT-VA确实带来了更强的性能,RoboTwin 2.0上平均成绩从PINT的42.1%提升到了45.0%,但代价是推理时间几乎翻了一倍还多。这提醒我们,任何架构设计上的改进都不是没有代价的,多看一眼VGM的中间特征能带来更丰富的信息,但也意味着要多花时间去处理这些信息,工程落地时终究要在精度和速度之间做取舍。
Q&A
Q1:PINT是什么?
A:PINT是一个统一的机器人操作模型,它通过一段叫做Predictive Intent(预测意图)的共享表示,协调语言理解模型、视频生成模型和动作生成模块三个专家,既能理解任务语义,又能预测未来画面,还能生成精准动作,同时保留每个专家各自的专长。
Q2:PINT相比其他方法最大的优势是什么?
A:PINT在没有使用额外机器人预训练数据的情况下,分布外(陌生环境)泛化能力明显更强。比如在RoboTwin 2.0困难测试集上达到15.5%成功率,远超Fast-WAM的1.8%和StarVLA的3.2%,在LIBERO-Plus上达到79.5%,超过多个基线方法。
Q3:PINT的两阶段训练具体是怎么做的?
A:第一阶段冻结视频生成模型,只训练语言模型、意图令牌和动作专家,让未来视频预测的梯度完全通过预测意图回传,逼出一段有信息量的意图表示。第二阶段反过来冻结语言模型和意图令牌,专心调整视频生成模型和动作专家去精修生成效果。







