2026年秋天，几个研究者坐在一起做了一件挺较真的事。他们找来五个当时最厉害的多模态大模型，GPT-6 Astra、Claude Opus 5.5、Kimi K3、DeepSeek V4.1 Flash、Gemini 3.8 Flash，让它们去控制机械臂叠积木、操纵无人机接球、开车走弯道、让四足机器人在被推倒后重新站稳。
结果是什么呢？
表现最好的GPT-6 Astra，84个任务里只完成了16个，成功率19%。排第二的Opus 5.5完成13个，15.5%。再往后，Kimi K3完成2个，DeepSeek和Gemini各完成1个。
这个数字可能会让你愣一下。毕竟这些模型写代码能过简历关，聊天能聊出哲学深度，怎么到了拧螺丝、倒水、开车这种"简单"的事情上,反而翻车了？
这就是这篇论文的起点。它想搞清楚一件事：当AI已经会写代码、用工具、看图识物之后，这些数字世界里练出来的本事，到底能不能带进物理世界？
为什么这是个难题
先说清楚一件事,这些AI模型可不是对着机器人一脸茫然瞎摸索。它们能看摄像头传回来的图像，能读机械臂的关节角度，还能自己写代码做图像分割、算相机投影、推导控制律。
论文里有个特别生动的例子。在搭积木这个任务里，GPT-6 Astra先是通过连续的摄像头观察锁定了蓝色积木的位置，直接抓取、举起，直到第204步才第一次引入相机投影的几何计算。而Opus 5.5反过来，先写好颜色分割的代码，再去采样机械臂的运动来拟合相机几何关系，然后才开始动手抓取。
两条路线,一个是先动手再算账,一个是先算清楚再动手。最后它们都成功完成了放置和缩回这个动作节点,物理执行步数几乎一样,一个270步，一个268步。但是工具调用次数差了一倍，Astra用了23次，Opus 5.5用了46次。
这说明什么？
说明这些模型确实有能力把视觉观察、数学计算和实际控制拼在一起,只是拼法完全不同。
但问题是，拼得出来，不等于拼得稳。
论文里反复出现一个词,叫做"执行不等于完成"。这是整篇论文最核心的发现，值得专门讲讲。
姿势到位了，东西却丢了
有个任务是让机械臂给瓶子倒水。Kimi K3在接近瓶子的过程中不小心把瓶子碰倒了，第42步瓶子就已经侧躺在桌上了。
它注意到了这个问题，自己在日志里写道"第一次闭合抓取没抓到，因为夹爪在倒下的瓶子上方"。接下来它反复用左臂尝试抓取，都没能建立稳定的抓握。直到第240步才切换到右臂，重新定位到第272步完成。
剩下的128步预算，它一直在试图用右臂重新接近瓶子，直到第400步的时限耗尽，任务依然没有完成。
这里有个很关键的细节：机械臂的每一次移动，从数据上看都是"成功执行"的，没有报错，没有被拒绝。但执行成功和任务完成是两回事。瓶子倒了之后,原来设想的抓取方案就全部失效了，而模型花了将近200步才真正切换策略。
这就像你本来计划拎着一桶水去浇花，结果半路水桶被撞翻了，水全洒了。这时候如果你还按原计划走到花盆前，伸手去拎那个空桶，动作本身一点错都没有，手伸得很准，可是浇花这件事根本没法完成了。真正该做的是立刻停下来，意识到状态已经变了，重新想办法，要么找个容器重新打水，要么换个思路。如果迟迟意识不到这一点，光顾着把"伸手拎桶"这个动作做得标准，那是在正确地做一件已经没有意义的事。
机械臂的每一步移动都精确，可物体状态已经丢失了，这种丢失不会被底层的运动控制系统报出错误，必须靠更高层的判断力去察觉。这正是论文反复强调的：姿态到达（pose reached）不等于任务完成（task complete）。
完成的幻觉
比失去物体更隐蔽的问题,是模型自己以为任务做完了，实际上没有。
论文里举了个扫积木的例子。Kimi K3在第861步时宣布任务已经完成，把空着的左臂收回了原位。可实际检查发现，任务根本没完成,积木还散在地上。
更奇怪的是接下来发生的事。在宣布"完成"之后，它接下来的69次调用,一直在小幅度改变那只空着的左臂的高度，又多走了139步，但始终没有回去继续扫积木。到整个1000步的上限耗尽，任务依然是失败状态。
这是一种很微妙的失败模式。模型不是卡住不动了，它还在持续地跟环境互动，调用工具、执行动作，看起来一切正常。但它内部已经认定任务结束，所以这些后续动作都跟真正的目标无关，只是在原地打转。
类似的情况还发生在DeepSeek控制机器人导航到厨房灶台的任务里。模型判断自己已经到位，不需要再移动了，于是开始发送静止指令。后续105步,它发的速度指令全是零，但实际检查位置和朝向，任务并没有真正达标。
论文用一个词概括这类现象：completion assessment，完成度判断。这是整篇论文揭示出的一个关键能力缺口。模型可以执行复杂的动作序列，但它判断"我是不是真的做完了"这件事，经常出错，而且一旦判断错了，就不会主动回头检查。
这背后藏着一个挺深的认知问题。人类做事的时候，"我觉得我做完了"和"这件事客观上做完了"之间，通常会有一个反复核对的环节,扫完地会回头看看有没有漏扫的角落，拧完螺丝会再晃一晃确认没松。但这些AI模型目前这种自我核验的机制并不稳固，它们倾向于相信自己内部生成的"完成"判断，而不是持续地拿外部反馈去验证它。
恢复得了，但恢复得太晚
还有一类失败，论文把它归为"时间性失败"，恢复本身是成功的，但恢复得太迟了。
一个例子是人形机器人打乒乓球。Astra控制的机器人在3.58秒的时候，机身高度掉到了0.50米以下，尽管它一直在做平衡修正，但没能在规定时间内稳住。
另一个更典型的例子是倒立摆追踪任务。这个任务要求机械臂末端持续跟踪一个目标轨迹，评估从第0.5秒开始计时。Astra最终完成了整个时间窗口，最后时刻末端误差只有2.45厘米，看起来数据很漂亮。但问题出在中间过程,追踪误差一度超过了20厘米的容许范围，系统判定它违反了追踪容差。它随后确实恢复了，但稳定保持的时间只有0.565秒，而任务要求的是持续满1秒。
这里有个容易被忽略的地方：如果只看最后一帧画面，这个任务看起来是圆满完成的，末端稳稳地停在目标附近。但评估标准不是看终点，是看整个过程有没有持续满足条件。一个漂亮的终点画面，可以完全掩盖掉中间过程里那段长达十几秒的失控。
这就像考试的时候，你前面十道题全错了，最后一道题蒙对了，然后你把卷子翻到最后一页给老师看，说你看我做对了。这当然不能算通过考试，但如果评分的人只瞄一眼最后一页，确实可能被这种"结果快照"骗过去。机器人任务的评估系统比这聪明，它会持续采样、持续检查，这也是为什么论文特别强调，payload hovering（无人机吊挂负载悬停）这类任务要求最后两秒内所有稳定性条件同时成立，中途一旦破坏连续性，之前积累的"稳定时长"会直接清零重算。
反馈真正起作用的时候
当然，论文里不全是失败案例，也记录了一些反馈机制真正发挥作用的时刻，这些例子同样值得细看，因为它们说明了"有效反馈"具体长什么样。
在关抽屉这个任务里，Kimi K3展现了一种渐进式的动作调整。它连续推门的五次请求，步数依次是20、20、12、6、5，越来越短。这不是随意的，而是根据末端执行器的位移反馈做出的精细化调整,它发现自己越来越接近目标状态，于是主动缩小每次动作的幅度，避免用力过猛撞坏抽屉或者超调。最后它请求后退12步来验证关闭效果，结果环境只执行了其中2步就触发了任务成功的判定。
另一个例子是Astra插充电器的任务。它尝试把闲置手臂的腕部相机转向下方，以便检查插头和插座的对齐情况，这个旋转请求在第196步被规划器拒绝了,可能是因为两只手臂在同一个工作空间内，这个姿态会导致碰撞。Astra没有重复发送同样会被拒绝的指令，而是先把那只闲置的手臂放低、拉近，调整了整体构型，到第207步，然后再去重试同样角度的旋转，这次在第230步成功执行了。后续经过插入调整、松开、撤回等步骤,整个充电器插入任务在第323步宣告成功。
还有一个更硬核的例子，是Opus 5.5控制无人机稳定一个用绳索悬挂的负载。这个任务要求无人机不仅自己要保持姿态稳定，还得抑制下方吊挂物的摆动。Opus 5.5的做法是结合离线计算的线性二次型调节器（LQR）和持续的状态反馈，负载的位置误差一路下降，最终在长达2.15秒的区间里，位置、速度、摆动幅度和姿态角这四个条件同时满足，超过了任务要求的2秒底线。
这三个例子有个共同点：真正有效的反馈循环,不是简单地重复动作直到碰巧成功，而是根据每一次执行后的观测结果，主动改变下一步的策略,缩短动作幅度，或者改变发起动作的身体构型，或者持续微调控制量直到状态收敛并保持住。这也是论文给出的一个明确结论,反馈重要的前提是它真的改变了后续的执行方式，仅仅"接收到了新的观察结果"是不够的。
不同模型，不同性格
这篇论文另一个挺有意思的发现是,这五个模型不是简单的强弱排序，它们的"擅长领域"明显不同。
Astra在需要精确空间定位和受限接触的任务上表现更好，比如涉及插入、悬挂这类需要严格几何对准的操作，它在这类任务上的成功率是13/45，Opus 5.5只有6/45。
Opus 5.5则在需要持续动态平衡和精确时机配合的任务上更强，比如四足机器人被推倒后的恢复、杯子接球、无人机悬停负载、无人机连续击球这些任务。在平衡追踪类任务上，Opus 5.5是4/20，Astra只有1/20；在需要精准时机配合的任务上，Opus 5.5是4/7，Astra是2/7。
论文还做了一个很细致的对比，在两个模型都成功完成的8个共同任务里，Astra在其中7个任务上用的工具调用次数更少，但只有6个任务上用的物理控制步数更少。这说明交互成本（调用了多少次工具）和物理执行成本（机器人实际动了多少步）是两件不完全相关的事情。
这背后一个合理的猜测是，两个模型在"视觉空间推理"和"程序化计算"这两种能力的组合方式上有不同的倾向。Astra似乎更擅长把视觉观察直接转化为空间估计和动作，减少了专门做图像检查和代码分析的次数；Opus 5.5则更频繁地通过写程序来显式表达几何关系和物理规律，这种方式可能更适合需要预测未来状态、精确计时的动态任务。论文把这个结论定性为一个探索性的假设，而不是严格的归因,因为这两个模型的训练数据、架构细节完全不透明，没法真正拆解是哪个具体能力带来了这种差异。
花钱越多不代表做得越好
论文还统计了资源消耗，这部分数据也挺值得玩味。
按token消耗量算，Kimi K3用了20亿个token，是五个模型里最多的，但它只完成了2个任务。而Astra用了9.41亿个token，不到Kimi的一半，却完成了16个任务。
按预估的API调用成本算，Astra的开销大概是9913美元，是Opus 5.5（2916美元）的3.4倍，但Astra的token消耗量反而更低,这背后涉及不同模型的定价策略和缓存计费方式不同，不能简单地拿token数或者花费来类比效率。
按累计耗时算，Astra总共用了54.6小时完成全部84个任务的评测，Opus 5.5用了140.3小时，Kimi用了163.8小时。Astra是完成任务最多的，耗时却比另外两个少得多。
这组数据传递出一个挺朴素但容易被忽略的道理：更多的计算投入、更长的交互时间、更高的花费，都不必然换来更好的任务完成率。真正起决定作用的，可能是那些计算和交互有没有被用在刀刃上,有没有真正转化成对物理状态的准确判断，以及下一步该做什么的正确决策。
为什么这件事值得认真对待
如果你把这篇论文放在时间线上看，会发现它出现的时机挺微妙。
2026年前后，社区里已经有不少关于"大模型能不能控制机器人"的零散实验，有人让GPT-6 Astra尝试抓苹果，有人做了实时的机械臂控制演示。这些演示往往给人一种印象,好像通用智能体离真正操控物理世界已经不远了。
但这篇论文做的事情，是把这种乐观情绪拉回到系统化的数据上来检验。它构建了一个叫RobotWorld的测试平台，整合了20个不同来源的仿真项目,包括BEHAVIOR-1K、RoboCasa、WheeledLab、OmniDrones等,覆盖了机械臂操作、移动操作、腿足运动、驾驶、飞行控制五大类共84个任务，每个任务都有明确的交互预算和可执行的成功判定标准。
这个工作最终呈现出的，不是一个简单的排行榜，而是一份相当细致的"故障诊断报告"。它告诉我们，现阶段的多模态智能体在物理世界里卡住的地方，往往不是感知能力不够、不是不会写控制代码、也不是算不出几何关系,这些局部能力它们其实都具备,真正卡住的是如何把这些局部能力持续地、可靠地串联成一个完整的、能应对意外的执行过程。
这也呼应了论文里提到的一场业内讨论。研究者Jitendra Malik曾公开质疑，仅凭抓取放置这类演示，是否真的能证明一个智能体具备了灵巧操作和动力学理解的能力；而另一些研究者如Phillip Isola则更看重智能体使用控制器和机器人工具的潜力。RobotWorld某种程度上是用数据给这场争论提供了一个中间立场的答案,能力的萌芽确实存在，但距离可靠的组合运用，还有相当长的路要走。
写在后面
读完这篇论文，印象最深的其实不是19%这个成功率数字本身，而是论文反复强调的那句话：动作不等于任务进展（motion is not task progress）。
这句话初看平平无奇，细想却挺扎心。我们日常判断一个人或者一个系统"在不在干活"，往往是看它有没有动作、有没有输出,敲键盘的声音、机械臂转动的画面，这些都是"看起来在做事"的信号。但这篇论文用大量具体案例证明，这个直觉在物理任务里是会骗人的。一个系统可以持续不断地执行看似合理的动作，却完全偏离了真正的目标，而且自己毫无察觉。
另一个让我反复琢磨的细节，是那个"扫地机器人宣布完成后继续原地抬手臂"的例子。这种行为模式其实挺像人类工作中常见的一种自我欺骗,当一个人内心已经把某件事标记为"做完了"，哪怕客观上没完成，后续的行动也会不自觉地偏向维持这个已经认定的结论，而不是重新打开怀疑的开关去核验。这不是AI独有的毛病，这更像是一种具有普遍性的认知惯性，只是在机器人任务这种有明确客观检验标准的场景下，被赤裸裸地暴露了出来。
论文没有回答的一个问题是：如果要让这种"持续怀疑自己是否真的完成了"的能力真正建立起来，究竟需要在训练阶段加入什么样的信号？是需要更密集的失败案例、更强的因果反事实推理训练，还是需要一种完全不同的、类似"内在审计员"的架构设计？这篇论文划出了问题的边界，但解法还得留给后面的工作。
Q&A
Q1：RobotWorld是什么？
A：RobotWorld是一个用于评测多模态AI智能体操控机器人能力的仿真测试平台，整合了20个来源项目共84个任务，覆盖机械臂操作、移动操作、腿足运动、驾驶、飞行控制五大类，每个任务都有明确的交互预算和可执行的成功判定标准。
Q2：为什么GPT-6 Astra这样的先进AI模型控制机器人的成功率只有19%？
A：主要原因不是感知或计算能力不足，而是这些能力没法可靠地组合成完整执行过程。常见问题包括动作精确但丢失了物体状态、误判任务已完成从而停止纠错、恢复平衡太晚错过时间窗口等，论文称之为"动作不等于任务进展"。
Q3：这篇论文里不同AI模型的表现有什么差异？
A：Astra在需要精确空间定位的任务上更强，比如插入、悬挂类操作；Opus 5.5则在需要持续动态平衡和精准时机配合的任务上更好，比如机器人推倒后恢复、无人机悬停接球等，两者的策略组合方式明显不同。
