Token导航 LogoToken导航

AI 资讯 · 科技行者

AI机械臂拧错试剂暴露真实操作短板

更新 2026-11-16科技行者正文 6562字阅读约 21分钟

你有没有想过,一个能写出诗歌、能通过律师考试的AI,在面对一个真实的乐高积木时,可能连两块积木有没有真正卡紧都看不出来?

这听起来有点荒谬。毕竟我们都见过那些让人惊叹的新闻:某个AI团队用智能体写出了能编译Linux内核的C语言编译器,另一个团队号称用AI解决了纳维斯托克斯方程这个数学界悬赏的难题。这些成就都发生在纯粹的数字世界里,代码、文件、API,一切都可以被完美复制、无限重试、瞬间回滚。

但当这些聪明的大语言模型被要求去控制一个真实的机械臂、一台真实的相机、一个真实的实验室设备时,事情突然变得不一样了。密歇根州立大学、微软等机构的研究者们做了一件挺较真的事:他们搭建了一整套闭环的物理交互系统,让大模型真的去指挥机械臂拧瓶盖、调相机角度、搭乐高积木,然后冷静地记录下这些模型到底在哪里栽了跟头。

这篇论文的名字叫《Words to World》,直译就是"从语言到世界",这个名字本身就点出了问题所在。语言和物理世界之间,隔着一条看不见但真实存在的沟。

**为什么数字世界里的成功,到了物理世界就不管用了**

要理解这条沟到底有多深,得先弄清楚数字世界和物理世界的根本区别在哪儿。

在数字世界里,模型下达一个指令,比如运行一段代码,哪怕错了,大不了重新跑一次,环境状态可以随时重置,时间仿佛是静止的,你可以无限次地回到起点重新尝试。

但物理世界完全不是这样。

一个机械臂抓取乐高积木的动作做完了,如果位置偏差了几毫米,这个偏差就真实地留在那里了,不会因为你"重新运行"就消失。更麻烦的是,物理世界里的时间是单向流动的,错过的观察窗口无法倒带重来,环境状态会在你不注意的时候悄悄改变。

**这就引出了论文里反复强调的一个核心矛盾:拿到工具的使用权,和真正会用这个工具,完全是两件事。**

打个比方。假设你给一个从没下过厨房的人一整套厨具,刀、锅、灶,全套齐活儿。这个人理论上"有能力"做饭了,因为所有工具都触手可及。但如果他不知道火候大了会糊锅、不知道闻到焦味要立刻关火、不知道刀切偏了手指会受伤,那这些工具摆在那儿,跟没有也没什么本质区别。真正难的不是拿到工具,而是在使用工具的过程中,根据锅里飘出来的味道、冒出来的烟,实时判断自己做错了没有,然后调整动作。

研究团队把这个"调整动作"的循环叫做交互闭环*:模型发出指令,设备执行后返回观察结果和反馈,模型根据反馈更新对环境的理解,再决定下一步动作,这个过程不断循环直到任务完成或者放弃。

论文想问的问题特别直接:当前这些强大的大模型,配上专门设计的执行框架(论文里叫"harness",可以理解为连接模型和物理设备的"外骨骼"系统,负责管理工具调用、保存上下文、把执行结果反馈给模型),到底能不能在这条交互闭环里稳定地转下去?

**W2W-Bench是怎么把问题拆开的**

研究者没有满足于笼统地说"AI在物理世界表现不好",而是把这件事拆解成了四个相互交织的能力维度,构建出一个叫W2W-Bench的评测体系,包含11个任务家族。

第一个维度是三维空间理解*:指模型从不完整的视觉观察中推断几何形状、视角关系、遮挡情况和相对位置的能力。

这个维度下设置了四个具体任务。身份证件拍照任务要求模型在遮挡、阴影和反光的干扰下拍出一张合格的证件照,拍完还要根据反馈调整相机设置。三维扫描任务让模型控制装在机械臂手腕上的相机,从不同角度采集深度图像,拼接出完整的物体三维模型,关键是要覆盖足够的表面区域又不浪费多余的扫描。物体识别任务给模型一个被部分遮挡的三维物体,模型需要调整相机的方位角、俯仰角和距离,凭多角度证据拼出正确答案。多页文档问答任务则是让模型在一份二十页的文档里翻找散落在不同页面的答案线索。

第二个维度是时间理解*:关注信号随时间演变、何时该观察、该等多久、以及旧观察是否需要更新的能力。

这里包含健康时间序列分析和智能家居两个任务。前者要模型从嘈杂不全的生理信号里推断潜在的健康状况,自主决定要不要查更多数据;后者要模型在一个持续变化的虚拟家庭环境里完成任务目标,设备状态会随时间演变。

第三个维度是低层执行*:关心选定的子目标该怎样被转化为具体的设备指令和参数,并在执行后检查效果、纠正偏差。

这块对应三维视频生成和乐高搭建两个任务。前者要拍出一段360度环绕产品视频,后者要求用机械臂把积木搭成指定结构,还要能通过腕部相机检查连接是否牢固。

第四个维度是高层规划*:处理如何把一个笼统目标拆解成一系列中间决策,并在环境暴露出新的约束或意外结果时修正之前的计划。

这包括自动化生物实验室、功能性乐高设计,以及三款桌游(Hanabi、Regicide、Pandemic)。实验室任务要完成移液、稀释、测量这些操作;桌游任务要通过MuJoCo物理引擎控制的机械臂,把游戏里的合法动作转化成真实的卡牌移动。

**为什么偏偏要凑够这四个维度,而不是随便挑几个有代表性的任务?**

这就像给一个运动员做体检,如果只测百米冲刺速度,你永远不知道他的耐力、柔韧性、反应速度到底怎么样。四个维度各自对应物理交互里绕不开的四种能力缺口,少了任何一个,得出的结论都是片面的。比如一个模型可能在"看懂物体"这件事上很强,但完全不知道该"等多久"再去看第二次,这种偏科的表现只有在四维度框架下才能被看见。

**谁表现最好,谁又在哪里栽了跟头**

研究团队测试了多个模型和执行框架的组合,包括GPT-6 Astra、Claude Opus 5搭配不同的harness系统(Codex CLI、Claude Code、Pi、Hermes、Factory Droid)。

结果挺有意思。

**GPT-6 Astra在规划和执行类任务上表现突出,却在最基础的三维空间理解和时间理解上显得笨拙。**

这就好比一个人下棋能看十步之后的局势,但是让他判断眼前这个物体到底有没有被挡住一半,他反而犯迷糊。规划能力和感知能力,看起来是两套完全不同的本事。

**Claude Opus 5则是另一种画像,它不在任何单一任务上称霸,但综合排名却是最高的。**

这种"不偏科"的稳定性,在真实部署场景里其实价值巨大。想象一下你要雇一个助理长期帮你干活,一个样样都还不错但没有明显短板的人,往往比一个某项技能很强但其他地方随时可能掉链子的人更让你安心。

从执行框架的角度看,结果同样呈现出任务依赖性而非一边倒的优势。Claude Code在三维空间理解上最强,和Pi并列temporal理解的第一;Codex CLI在低层执行和高层规划上领先。这意味着harness系统本身的设计,会直接影响模型在不同能力维度上的发挥,选错了执行框架,再强的模型也可能被拖累。

**毫米级的偏差,AI真的看不出来**

论文里一个让人印象深刻的发现是,大模型在精细空间感知上存在系统性短板。

三维扫描任务里,即便把判定容忍度放宽到10毫米,各个模型的F分数(衡量重建点云和真实物体匹配程度的指标)依然偏低。更直接的例子出现在乐高搭建任务里,实验观察发现积木往往只是表面叠放在一起,而不是真正卡进了对方的插槽。即便给了多视角的反馈图像,模型依然没能察觉这种毫米级别的错位。

这个发现戳破了一个我们可能习以为常的假设:视觉模型"看得清"不等于"看得准"。

举个具体的类比。如果你让一个人去判断两块乐高积木是不是真的卡紧了,光靠眼睛远远看一眼完全不够,你得伸手去推一推、晃一晃,用手指的触感去确认。但现在的大模型,它没有"手感"这个反馈渠道,它只能靠几张照片去猜测连接状态,这就好比让一个人隔着玻璃窗判断隔壁房间的门锁没锁好,图像信息本身就不足以支撑这个精细判断。如果不解决这个问题,后续所有依赖"结构已经搭好"这个假设的操作,都会建立在一个随时可能坍塌的地基上。

**视觉信息觅食的困境同样值得说一说。**

研究者原本以为,遮挡越严重的物体,模型应该花越多步骤去多角度观察,这是符合直觉的策略。但实验数据显示,遮挡比例和探索步数之间几乎没有显著相关性。这说明模型并不是在"主动判断"该不该多看一眼,而更像是按照某种固定节奏在走流程,导致简单案例被过度检查,复杂案例反而探索不足,两头都没讨到好。

**时间这个维度,AI到底踩了哪些坑**

物理世界的不可逆性,在时间理解这个维度上体现得特别明显。

SimuHome这个智能家居任务要求模型协调当下动作、未来承诺和持续观察这三件事。研究团队统计发现,涵盖15个时间相关评测标准的任务里,Claude Code搭配Opus 5能完全满足10个任务(66.7%)的时间要求,而Codex配Astra或Sol只能满足8个(53.3%)。

失败案例揭示出几种典型问题。有些配置提交了排程好的工作流,却没能在后续检查点真正达到要求的设备状态或者让环境条件进入目标范围;有些干脆就没能建立起必要的未来工作流;还有的在等待执行过程中被模型请求错误打断了整个流程。

这些问题说明,"设定一个未来时间点去执行某个动作"这件事,远比听起来复杂。模型得真正建立起可执行的动作序列,管理那些还没触发的待定工作流,并且在时限内验证干预措施确实产生了效果。

**另一个值得细品的实验是关于观察窗口长度的取舍。**

研究者对比了固定9小时观察窗和模型自主决定观察时长这两种模式。结果显示,自主决定的Codex配GPT-5.6 Sol组合平均只用了6.4个未来小时,反而比强制9小时窗口拿到了更高的准确率(56.7%对比53.3%)。换句话说,强行拉长观察时间,成本增加了40.6%,准确率却没有提升。

这个结果让人联想到一个生活场景。有些体检项目,医生并不是让你把所有能查的指标都查一遍,而是根据你的具体症状精准地决定该做哪几项检查。如果不管什么情况都做全套检查,看起来更"保险",实际上既浪费了时间和金钱,又不一定能查出更有价值的信息。模型自主选择观察窗口的能力,本质上就是这种"精准问诊"思路在时间维度上的体现,而强制拉长窗口则相当于不管病情如何都做全身CT,钱花了不少,诊断准确率却没见涨。

当然这个规律也不是绝对的,Claude Opus 5在某些配置下使用长达31到48小时的观察窗口,反而取得了更强的表现,其中Factory搭配Opus 5达到73.3%的准确率,平均用了34.6小时。但另一边,Pi配Opus 5用了48小时,准确率却只有55.6%。这说明观察时长和最终表现之间的关系,并不是简单的"越多越好",而是深受模型本身和执行框架共同影响。

**双臂协作暴露的两种不同性格**

当任务需要两只机械臂同时工作时,问题变得更复杂了。研究团队在自动化生物实验室和乐高搭建任务里专门考察了双臂协调能力,把失败类型分成三种:碰撞规避失败(两只手臂在同一工作空间互相干扰)、协调不足(一只手臂没能稳住或支撑物体,另一只手臂的主操作就落空了)、以及顺序错位(两只手臂执行顺序颠倒,导致交接环节出问题)。

数据显示出一个清晰的分化。GPT-6的失败案例里100%都是碰撞规避问题,而Claude Opus 5的失败案例里80%是协调不足,20%是顺序错位。

这意味着两个模型暴露出的是完全不同的弱点。GPT-6似乎很难处理两只手臂同时运动时的空间冲突,就像一个人同时用两只手做两件事时容易撞到自己;Claude Opus 5则更像是知道该用两只手配合,但配合的时机和力道总是差一点,一只手该扶住的时候没扶住。

**AI会不会"自欺欺人"地宣布任务成功**

这是整篇论文里我觉得最值得拎出来单独说的一个发现。

乐高设计任务里存在一个现实问题:积木之间如果没有真正咬合,会在重力作用下滑落。研究者借着这个场景,专门测试模型能不能察觉到这种物理异常,并给出有效的反馈来支持恢复。

结果被分成三类情况。

Codex配GPT-6的表现里,40%的案例成功恢复了,比如一块支撑积木位移了50毫米掉到了平台外面,模型把它捡回来、调整了支撑间距,然后继续搭建。但也有10%的案例恢复不完整,下层结构位移了4.34毫米,模型做了位置修正,但后续依然沿用了过时的估计值,导致漂移持续存在。还有10%的案例是完全没察觉到异常,两块积木结构漂移了约21毫米,模型把这当成了"轻微沉降",直接沿用了之前的坐标,根本没做调整。

Claude Code配Opus 5的情况更让人揪心。有20%的案例,支撑积木位移了66到73毫米,模型却**宣布恢复成功**,然后继续在原来的支撑位置规划后续放置。还有40%的案例,底部积木被位移并整个翻转了180度,模型把它捡回来重新摆放了,但没能纠正方向,就这样在一个倒置的底座上继续叠加后续层。

这个现象揪心的地方在于,这不是模型"没看见"问题,而是模型"看见了却误判了"。它以为自己已经修好了,实际上根本没修好,还带着这个错误的信心继续往下干。

打个比方,这就像一个人家里的灯泡坏了,他换了个新灯泡,结果灯还是不亮,原因其实是开关没拨到位。但他没有去检查开关,反而理所当然地认为"我已经换了灯泡,问题肯定解决了",转身就走了。真正的危险不在于最初那个物理故障本身,而在于一旦模型对自己的判断建立了错误的自信,它后面所有基于这个错误前提的决策,都会一错到底,而且不会再有自我纠正的机会,因为它压根不认为这里有问题。

**三个清晰的类比帮你记住这篇论文**

读到这里,你可能已经感觉到,这篇论文反复在讲一件事:大模型在语言层面展现出的"聪明",和它在物理世界里展现出的"靠谱"程度,中间横着一条相当宽的沟。

空间理解上的毫米级误差告诉我们,看得见不代表看得准,就像隔着玻璃判断门锁没锁好。

时间理解上的调度困境告诉我们,设定一个未来动作不等于这个动作真的会按时发生,就像订了外卖不代表外卖员一定按时送到你手上,中间任何一环卡壳,承诺都可能落空。

而恢复能力上的自我宣称成功,则揭示出一个更深层的问题:当AI没有外部真实反馈(比如手指的触觉)来验证自己的判断时,它可能会陷入一种自我说服的循环,就像换了灯泡却没查开关的人,带着错误的自信走向下一个错误。

这三个类比其实共享一个核心逻辑:物理世界不会因为AI"认为"任务完成了就真的完成了,只有真实的、持续的、带着怀疑精神的反馈闭环,才能让语言驱动的行动真正落到地面上。

写在后面

读完这篇论文,最让我意外的不是AI在物理任务上表现不好,这其实在预料之中。真正让我停下来想了很久的,是那个"宣布恢复成功但实际上没有"的案例。

这揭示出一个比"AI做不好任务"更深的问题:AI可能并不知道自己做不好。它对自己的判断有一种近乎顽固的自信,这种自信在数字世界里问题不大,因为代码跑错了报错信息会直接甩在脸上,但在物理世界里,反馈往往是模糊的、延迟的、需要主动去验证的,而当前的模型似乎还没学会"主动怀疑自己"这件事。

这让我想到一个完全不相关的领域:飞行员培训里有个概念叫"情境意识丧失",指的是飞行员大脑里构建的态势图和真实情况脱节了,但飞行员本人完全没意识到这种脱节,反而带着错误的态势图继续操作飞机。那篇论文里的AI,某种程度上也在经历类似的事情,它脑子里的"世界模型"和真实的物理世界悄悄分道扬镳了,但它没有能力察觉这个分叉点。

这篇论文没有解决这个问题,它只是把这个问题用一套严谨的评测体系摆在了台面上。接下来的问题是,我们到底该怎么教会AI,在按下"任务完成"按钮之前,先问自己一句:我真的看清楚了吗?

Q&A

Q1:W2W-Bench是什么?

A:W2W-Bench是一套评测大语言模型在真实物理环境中执行任务能力的基准测试,包含11个任务家族,涉及机械臂、相机、传感器等真实设备,考察模型的三维空间理解、时间理解、高层规划和低层执行四种能力。

Q2:测试中哪个大模型表现最好?

A:Claude Opus 5搭配Claude Code执行框架综合表现最佳,它不在任何单一任务上称霸,但在几乎所有任务上都保持稳定水准;GPT-6 Astra在规划和执行类任务上更突出,但在基础的三维空间理解和时间理解上较弱。

Q3:论文发现AI在物理世界里最大的问题是什么?

A:最突出的问题是毫米级空间误差难以察觉,比如乐高积木只是表面叠放而非真正卡紧,模型也看不出来;更严重的是AI有时会在物理异常恢复失败后,错误地宣布任务已经成功,带着错误判断继续执行后续操作。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。