你有没有想过一个问题：如果一个机器人在测试里成绩满分，是不是就说明它真的听懂了你说的话？
这个问题听起来有点蠢，但上海交通大学的研究团队发现，答案很可能是否定的。他们做了一个实验，把一批目前最先进的机器人控制模型放到一个精心设计的场景里测试，结果发现这些模型在标准测试中表现优异，可一旦稍微改变一下场景布局，或者换个说法描述同一个任务，它们的表现就断崖式下跌。有的模型甚至从98%的准确率直接跌到0%。
这不是危言耸听，这是真实发生在他们实验数据里的事。
**问题出在哪：一个安静的场景陷阱**
要理解这件事,得先搞清楚现在的机器人是怎么"听话"的。
现在主流的机器人控制系统叫做VLA模型
VLA*：全称Vision-Language-Action，视觉-语言-动作模型，简单说就是机器人同时看画面、听指令、然后决定怎么动手
。这类模型通过看摄像头画面、理解语言指令，最终输出机械臂该怎么移动的指令。听起来很聪明,对吧？可以看懂"把红色的方块放到蓝色圆柱旁边"这种话，然后真的把它做出来。
但研究团队发现了一个很隐蔽的漏洞：现在绝大多数训练机器人的测试场景，都存在一种叫做"低场景熵"的结构性问题。
场景熵*：这里指的是同一个初始画面对应多少种不同的合理任务。如果一个场景摆出来，只有一种任务是合理的,那么这个场景的熵就很低
打个比方。假设你面前的桌子上只放着一个苹果，旁边什么都没有，这时候有人对你说"把那个水果拿起来"。你根本不需要听清楚这句话里的每一个字，光靠眼睛扫一眼桌面，你就知道该拿什么了。语言在这种情况下变得可有可无,你就算听错了几个词,也不影响你做对事情。
现在的很多机器人训练数据集，恰恰就是这种"桌上只有一个苹果"的情况。每个场景通常只对应一个正确答案，语言指令更像是一个标签，而不是真正需要理解的信息。机器人可以完全靠"看图猜任务"蒙对答案，根本不需要真的去解析语言里的语法结构、空间关系或者逻辑关系。
如果不解决这个问题会怎样？
答案就是论文标题说的那种"幻觉"：模型看起来能听懂人话，实际上它只是在利用视觉场景里的唯一线索走捷径,一旦这个唯一线索被打乱，它立刻现出原形。
**RoboFollow：把桌上摆满水果，逼它必须听清楚你说的是哪个**
针对这个问题，研究团队设计了一个新的诊断性基准，取名RoboFollow。
它的核心设计思路简单粗暴又聪明：既然低场景熵是问题的根源，那就故意把每个训练场景设计成高场景熵，让一个画面能对应出很多种不同的合理任务，逼着模型必须靠语言才能分辨清楚该做哪一个。
这就好比你面前不再只摆一个苹果，而是同时摆着苹果、香蕉、橙子，还散落着不同颜色的积木和小球，这时候有人说"把红色球右边的那个方块拿起来"。你没法再靠瞎猜蒙混过关了，你必须真正理解"红色球"指的是哪个球,"右边"是相对于哪个物体而言，然后才能锁定唯一正确的目标。如果你只是随便拿起离你最近的方块，大概率会做错。
具体来说，RoboFollow包含四类诊断场景，涵盖了语言理解里几个非常核心的能力维度。第一类考察空间关系，比如"左边""右边""后面"这些方位词，场景里会故意摆几个长得一模一样的物体，逼着模型必须靠关系词而不是外观来锁定目标。第二类考察物体的内在属性组合，比如颜色、大小、形状这些特征的搭配，还有拿取、推动、堆叠这些不同的动作指令。第三类考察带有轨迹约束的精细动作，不只要求机器人拿到终点，还要求它按照特定路径移动、以特定朝向摆放。第四类考察最基础的逻辑理解，比如"先做A再做B"的时序、"不要A"的否定、"如果A那就B，否则就C"的条件判断。
整个数据集一共设计了75种训练任务标签，归入六组场景配置，总共产生了3750条训练演示轨迹。研究团队专门计算了这个数据集的场景熵，达到了3.782比特，作为对比，业内常用的LIBERO基准里几个子任务集合的场景熵平均只有0.88比特。这个数字差距背后的含义是,RoboFollow逼着模型真正依赖语言的程度，比传统基准高出了好几倍。
**四道关卡：L0到L3的层层加码**
光是把场景设计得复杂还不够，研究团队还设计了一套四级递进的评测协议，分别叫L0、L1、L2、L3。
L0是最基础的一关，测试条件和训练时看到的完全一致，用来衡量模型在"熟悉的题目"上表现如何。
L1保持语言指令不变，但是把场景里物体的位置互相调换。这一关想测试的是：模型到底是记住了"红球在画面中间偏上的位置"这种死记硬背的坐标，还是真正理解了"红球右边的方块"这个关系本身，能在红球被挪到别处之后依然准确定位。
L2反过来，保持场景布局不变，但换一种新的方式描述指令，用训练时没见过的词语组合去指代同一个目标。比如训练时只教过"最右边的方块"，测试时换成直接说"红色方块"，看模型能不能理解"红色"和"方块"这两个概念虽然分别学过，但组合起来指的是同一个东西。
L3是终极考验，场景布局和语言指令同时改变，看模型能不能应付这种双重压力。
这四道关卡的设计逻辑其实很像考驾照。科目一考交规知识，你只需要死记硬背题库,靠临场应变也能蒙对不少题。但真正上路那天，路况和你练车场完全不同,红绿灯位置变了、突然冒出来一辆车、路标换了个说法，这时候如果你只是记住了固定路线而没有真正理解交通规则，立刻就会露馅。L0就是那个题库考试，L1到L3才是真实路况。如果一个模型只能在L0拿高分,在L1到L3全面崩盘，说明它压根没有真正学会开车，只是背下了考场地图。
**把"听懂了没"和"做到了没"分开算账**
除了场景设计和难度分级，RoboFollow还有一个很关键的评分设计,叫做意图分数和执行分数的分离评估。
意图分数*：衡量机器人是否选对了正确的目标物体、正确的空间关系、正确的路径点或正确的逻辑分支，哪怕它最后没有把动作做得很标准
执行分数*：衡量机器人选对目标之后，是不是真的把这个动作干净利落地完成了，比如抓稳了、搬到位了、放准了
为什么要这么费劲地拆开算？
因为如果只看最终任务成不成功，这个信号是模糊的，会同时掺杂两种完全不同性质的失败。一种是机器人压根理解错了指令，去拿了错误的物体；另一种是机器人理解对了，但手抖了没抓稳，或者放的位置差了几厘米。这两种失败的性质天差地别，前者是"脑子"的问题，后者是"手"的问题，混在一起看，你根本没法诊断问题出在哪个环节。
这就像医生看病，如果一个病人说"我不舒服"，医生不可能只靠这一句话就开药方，得先分清楚是发烧、咳嗽还是肚子疼，才能对症下药。RoboFollow这套意图和执行分开打分的机制，本质上就是给机器人做了一次分诊，先看它的"认知系统"出没出问题，再看它的"运动系统"出没出问题。
研究团队还专门设置了一个收尾阶段的评分,占总分的20%，要求机器人完成任务之后必须停手，不能继续做多余的、指令里没要求的动作，才能拿满分。这个设计也挺有意思，说明团队还观察到了一种"话痨式"的错误：机器人做完了该做的事,却停不下来，继续瞎折腾。
**九个顶尖模型集体翻车**
理论设计得再精巧，也得靠实测数据说话。研究团队挑选了九个当前最有代表性的机器人控制模型进行测试，涵盖了VLA和另一类叫做世界动作模型（WAM）的方法。
WAM*：全称World Action Model，世界动作模型，这类方法不只是被动地根据画面做反应，还会主动预测环境接下来会怎么变化，再决定该怎么动
测试结果印证了开篇提到的那个反直觉现象。以π0.5这个模型为例，它在场景1（空间关系任务）的L0测试里拿到了99.1%的意图分数,近乎满分。但是切换到L1，也就是仅仅调换了物体位置、指令一个字没变的情况下，这个分数直接跌到45.5%，几乎腰斩。它的同门师兄π0表现得更极端，L0是98.2%,L1直接归零，变成0.0%。
这不是个别模型的偶然失误。研究团队测试的九个模型里，几乎全部呈现出这种"L0高分，L1到L3集体跳水"的规律。而且更值得留意的是，意图分数的下降幅度和执行分数的下降幅度往往是同步的，这说明问题主要不是出在"手抖了"，而是出在"压根没理解对该干什么"这个更根本的层面。
不同模型之间也表现出了有意思的差异。π0、GR00T N1.6和Motus这几个模型在场景1的L1测试里几乎全军覆没，说明它们对空间关系的理解特别脆弱,很可能只是记住了"物体通常摆在这个位置"这种统计规律，而不是真的学会了"左边""右边"这些词的相对含义。有意思的是，同样是这些模型，在场景2（物体属性）上的表现却相对稳健一些,这提示我们，语言理解能力在不同语义类型之间并不是均匀分布的，模型可能在某些维度上学得扎实,在另一些维度上纯粹靠蒙。
研究团队还专门做了一次真实机器人的小规模验证，不只停留在仿真环境里。他们用π0.5控制一台真实机械臂，测试8条训练时见过的指令和8条从没见过的新指令，各测5次。结果训练指令的成功率是50%，没见过的指令成功率骤降到15%。这个真机实验虽然样本量不大,但它印证了仿真环境里发现的问题不是虚拟世界的幻觉，是会真实发生在物理世界里的。
**给药方，但药方都没能治好病**
发现问题之后，研究团队没有止步于诊断,他们还尝试了几种业内常见的补救办法，看能不能解决这个语言理解不牢靠的毛病。
第一种办法很直觉：既然问题可能出在语言理解模块不够强,那就换一个更强的语言模型。研究团队用了Qwen3-VL这个更先进的视觉语言模型作为骨干，单独测试它回答关于场景的问题时,准确率高达19/20，说明它对画面里的空间关系和物体属性理解得相当到位。但是,当这个强悍的语言理解模块被接到机器人的动作生成系统上之后，L1到L3的表现依然大幅崩溃。这个结果挺让人意外的：脑子明明变聪明了,可"手脑协调"这一环依然是个死结。
第二种办法叫做QA联合训练，思路是在训练动作的同时，穿插着让模型做一些看图问答的练习，防止它在专注学动作的过程中把语言能力给忘光了。这个办法确实有点用,但依然没能让L1到L3的表现摆脱崩盘的命运。
第三种办法叫LangForce，这是一种专门强化文本和动作之间统计关联的训练技巧。用了之后，效果只有轻微改善。研究团队分析说，这种方法只是让语言和动作的相关性在统计上更紧密了,但并没有真正教会模型组合性的语义理解，本质上还是一种更精细的"死记硬背"。
第四种办法是无分类器引导（Classifier-Free Guidance），这是扩散模型里常用的一种放大条件信号强度的技巧,在图像生成领域效果显著。可是在RoboFollow这种高熵场景里，研究团队发现这个技巧反而帮倒忙，把引导强度调高之后,连L0的基础表现都跟着下滑了。原因也不难理解：这个技巧原本依赖"不给语言条件时,模型依然能有一个还算靠谱的默认猜测"这个前提，但在RoboFollow精心设计的高熵场景里，一旦丢掉语言信息，模型面对的是好几种同样合理的选项,根本没法瞎猜出一个靠谱答案，这时候再去放大这个本来就很混乱的猜测,只会让情况更糟。
四种主流补救办法轮番上阵，没有一种能真正把L1到L3的成绩拉回到接近L0的水平。这个结果比单纯发现问题更让人深思：说明这不是某个具体技巧没调好参数的小毛病，而是整套训练范式里存在着某种更深层的欠缺。
**写在后面**
读完这项研究，最让我意外的不是那些下跌几十个百分点的数字，而是研究团队在场景2做的那个附加实验：他们专门测试了几个已经答对语言理解测试题的样本，结果发现即便语言模型答对了,后续的动作执行依然有大约一半会做错。
这说明问题根本不只在"听懂"这一步，还卡在"听懂之后怎么转化成动作"这个更隐蔽的环节。这个细节比整篇论文的主线结论更让我停下来想了很久：一个系统内部,理解模块和执行模块可以是脱节的，各自独立地正确或者错误，中间那道桥梁本身也可能是坏的。这跟人类学一门新技能时的某种体验挺像的,你脑子里明明清楚该怎么做，可身体就是做不出来，这中间隔着一层说不清道不明的东西。
论文里还有个细节让我印象很深：训练时把每个任务的演示数量从25条翻倍到50条,确实提升了各个难度层级的意图分数,但L0和L2、L3之间的差距几乎纹丝不动，依然维持在47到56个百分点之间。这说明单纯堆数据量，可能根本堆不出真正的组合泛化能力,这个坑不是靠"再多喂点数据"就能填平的。
这项研究没有给出解决方案,它更像是一次诚实的体检报告，把一个长期被忽视的隐患摆到了台面上。如果现在这些看起来很聪明的机器人控制系统,骨子里都还是在利用场景里的视觉捷径蒙混过关，那么当它们真正被部署到千变万化的现实世界里,面对研究者根本没预料到的场景组合时，会不会做出让人意想不到的、甚至危险的举动？
Q&A
Q1：RoboFollow基准测试的核心设计理念是什么？
A：RoboFollow的核心理念是构造高场景熵的测试场景，让同一个视觉画面对应多种合理任务，逼迫机器人模型必须依靠语言指令才能分辨该执行哪个任务，而不能像传统低熵场景那样单纯靠视觉线索蒙对答案。
Q2：为什么机器人模型在L0测试表现很好，换个说法或换个布局就不行了？
A：因为大多数模型在训练时利用的是场景里唯一的视觉捷径，并没有真正理解语言里的空间关系、属性组合或逻辑结构。一旦布局或表述方式改变，捷径失效，模型的意图选择就会大幅出错，说明它此前只是在依赖记忆而非语义理解。
Q3：更强的语言模型或者特殊训练技巧能解决这个指令跟随问题吗？
A：研究测试了更强的VLM骨干、QA联合训练、LangForce和无分类器引导四种方法，结果都未能显著改善L1到L3的表现，说明这不是单一技巧能修补的小问题，而是当前训练范式存在的深层欠缺。
