Token导航 LogoToken导航

AI 资讯 · 科技行者

机器人模仿学习转向代码思考训练

更新 2026-11-22科技行者正文 8125字阅读约 26分钟

有一个问题困扰了机器人研究圈很久。

你训练一个机器人做任务,比如把积木叠成一座塔,通常要收集几千条人类示范数据,然后用这些数据训练一个模型,让它学会模仿。这套路子叫**模仿学习**

> 模仿学习:让机器人观察人类演示的动作数据,训练出能够复现类似动作的模型,类似于教孩子写字时让他照着字帖描红。

效果还不错,但有个硬伤:机器人只会干它见过的事。换个场景,换个物体摆放方式,它可能就懵了。而且,收集几千条示范数据这件事,本身就很贵,很慢。

那有没有别的路子?最近两年,一些研究者开始琢磨:能不能让大模型直接控制机器人,就像它写代码、读报错、改代码那样,读取摄像头画面、输出指令、看看效果、再改进?这篇来自HexaFuture团队的论文,就是在这条路上走得比较远的一次尝试。

他们管自己的系统叫**HexaShell**

> HexaShell:论文提出的机器人控制系统名称,字面意思接近“六边形外壳”,象征一层薄薄的、不干涉决策的包装层。

结果挺惊艳。在一个叫RoboDojo的机器人操作基准测试上,HexaShell拿到了46.9%的成功率,是目前这个官方排行榜上最高的分数,超过了所有靠海量示范数据训练出来的学习式策略模型。

这件事本身就有点反直觉。要知道,过去几年机器人操作的排行榜,一直被那些吃了成千上万条演示数据、专门为机器人动作设计的模型占据着,比如视觉语言动作模型(VLA)和世界动作模型。而HexaShell呢,它背后的模型一条机器人演示数据都没见过,全靠一个会写代码的智能体自己摸索出工具,然后把这些工具当作经验保留下来。

一个没有专门为机器人训练过的编程AI,打败了专门为机器人训练的模型。这事儿值得掰开揉碎讲讲。

薄壳设计:让AI保持它最擅长的样子

先说说HexaShell最核心的设计理念:它给机器人加了一层极薄的接口,薄到几乎什么都不做。

具体来说,这个智能体控制机器人的方式,是通过一个命令行工具,叫`robo`。智能体发出一条指令,比如"把这只手臂往右移动0.1米",这层接口就负责把这条指令翻译成机械臂的关节运动,然后把执行结果、三张摄像头拍到的RGB画面返回给智能体。仅此而已。

这层接口不会替智能体做任何决策,不会告诉它"这个任务你应该这样做",也不会偷偷塞给它物体的真实坐标。它唯一的工作,就是把文字指令变成物理运动,再把运动结果变成文字反馈。

为什么要这么设计?因为研究者想搞清楚一件事:一个完全没有针对机器人做特殊训练的编程智能体,如果让它用写代码、读报错、修代码这套在软件世界里玩得很熟练的本事,去操作一台真实的机械臂,它到底能走多远?

**答案是:如果给它的接口足够干净,它能走得比想象中远得多。**

这就好比你请一个从没开过挖掘机的老司机去开挖掘机。你有两个选择:要么给他一套自动驾驶系统,方向盘自己转,油门自己踩,他只负责按一个"开始"按钮;要么给他一个最朴素的操纵杆,告诉他"往前推是前进,往左扳是转向",剩下的全靠他自己判断。

如果选第一种方式,你测试的其实是那套自动驾驶系统的水平,老司机的驾驶经验根本派不上用场。而如果选第二种,你测的才是这个人真正的判断力和应变能力。研究者选的是后者。他们想测试的不是硬件自动化程度,而是**智能体本身的推理和纠错能力能不能迁移到物理世界**。

这个选择也解释了为什么HexaShell的提示手册只有大约六十行,薄得不能再薄了。手册里只说明接口怎么用,比如"move命令每次最多移动0.20米","point命令可以选择几种固定的抓取姿态",完全不涉及任何具体任务该怎么完成的策略提示。策略,全部留给智能体自己摸索。

如果换一种做法会怎样?论文里恰好给出了对照组:同一个模型,如果通过基准测试作者写的那套固定接口来操作机器人(这套接口会帮AI选择夹爪目标位置,相当于帮它做了一部分决策),成功率只有22.5%。而换成HexaShell这层几乎不做任何决策的薄壳,同一个模型的成功率翻倍还多,冲到了46.9%。

这个对比挺扎心的。本来大家可能以为,给AI多一些辅助、多搭一些脚手架,它应该表现更好。结果恰恰相反:**辅助太多反而限制了它,把决策空间留给它自己,它反而玩得更好。**

失败不是终点,是写代码的起点

光有薄壳还不够。真正让HexaShell跑起来的,是两个智能体的分工配合。

一个叫**执行智能体**,负责真刀真枪地操作机器人完成一次任务尝试;另一个叫**优化智能体**,专门在执行智能体失败之后介入,读取整个失败过程的完整记录,包括每一条指令、每一帧画面、每一句对话,然后诊断问题出在哪,写出或修复一个工具来解决这个问题。

这两个智能体用的是同一个模型,论文里叫它GPT-6-Astra,配合Codex这套编程智能体框架一起工作。

> 工具:论文里的“工具”指的是一段带单元测试的小程序,它会给`robo`命令行增加新的子命令,让机器人获得某种具体能力,比如测量桌面高度或者识别某个物体的轮廓。

关键的地方在于,这些工具一旦写出来,就会永久留存,供以后所有的任务尝试调用,不会随着这一次任务结束就被丢弃。这跟之前很多"用语言模型给机器人写代码"的研究不一样。

之前的做法,比如Code as Policies这类工作,通常是针对每一条具体指令,临时生成一段程序,用完就扔,下一次来一条新指令,又重新生成一遍。这些研究里,操作物体的基础能力(比如怎么抓取、怎么判断一个点在不在平面上)都是人类工程师提前写好的,AI只负责组合调用。

HexaShell反过来了:基础能力由AI自己写,而且会沉淀下来、持续被打磨,每一次任务尝试写的只是一段很短的调用代码。

这个区别用程序员的话说,前者更像是每次都写一次性脚本,后者更像是在维护一个持续迭代的代码库。

想象一下你在学做一道新菜。第一种方式是,每次做之前都从头摸索火候、调料比例,做完这顿饭,这些经验就随着记忆模糊掉了,下次做还得重新试错。第二种方式是,你把试出来的经验写成菜谱,下次直接照着菜谱的步骤走,如果某次做砸了,你回头修改的是菜谱本身,而不是从零再试一遍。

如果不采用第二种方式,会发生什么?论文里有个直接的数据对比:在"推T形块"这个任务上,最初十个布局里,智能体靠临时测量、没有沉淀工具的方式连续失败了两次。而一旦优化智能体把失败原因写成了固定工具并修复了其中的bug,后续所有十个开发布局,包括标准和混乱两种变体,全部一次通过。工具沉淀下来之后,这个任务的成功率从某种程度上的"碰运气"变成了稳定复现。

这套流程跑起来的速度也值得一提。一轮失败之后的优化,中位数只需要6.3分钟。769轮优化里,优化智能体平均每轮会运行16条shell命令,读取大约75万个输入token(大部分是缓存),写出5700个token左右的修改。整个过程里,智能体改动的代码量中位数是新增118行、删除6行,测试和笔记都算在内。

更有意思的是优化智能体诊断问题的方式。论文里记录了一个案例:在"交换T形块"任务里,智能体连续失败了两次。优化智能体没有急着猜,而是先把最后一帧摄像头画面里的颜色聚类分析了一遍,发现每个积木块其实由两种颜色构成:顶面是亮色,侧面是暗色,但两者色相相近。之前的工具用固定色号去匹配两个摄像头看到的画面,结果把顶面和侧面混在了一起,导致测出来的角度和高度都是错的。找到这个原因之后,优化智能体改了28行代码,让工具按色相匹配、只保留亮色的顶面,结果下一次尝试,角度误差从原来偏差约3度降到了0.4毫米的轮廓拟合误差。

这就是优化智能体的工作方式:它更像一个在读报错日志的程序员,而不是一个靠直觉拍脑袋的决策者。证据主要是数字,比如每条指令消耗了多少步数、工具为什么拒绝返回结果,而不是靠"感觉这里不对"。

没有深度摄像头,怎么知道物体在哪

接下来这个问题,是整篇论文里技术含量最高的部分:机器人到底怎么知道一个物体在三维空间里的准确位置?

在软件世界里,AI处理的所有东西都是精确的文本,一行代码就是一行代码,不会有歧义。但在物理世界里,AI看到的是像素,而每一条控制指令都需要一个精确到大约一厘米的空间坐标,这中间差了十万八千里。

更麻烦的是,HexaShell里机器人配备的摄像头,只能拍RGB彩色画面,没有深度传感器,画面里完全不包含"这个点离摄像头多远"这个信息。

一个很自然的想法是:用一个专门预测深度的神经网络,从一张彩色图片估算出每个像素对应的距离。论文里确实试过这条路,用的是Depth Anything V2这个模型。

> Depth Anything V2:一种从单张彩色图像直接估计场景深度的神经网络模型,不需要专门的深度摄像头硬件。

结果让人有点意外:这个深度估计网络在RoboDojo的场景里误差中位数是41毫米,也就是头部摄像头拍到的图像,深度误差平均能到4厘米多;而手腕摄像头拍到的画面,误差更是能到10厘米左右。

这个误差有多致命?机器人抓取一个物体,通常需要大约一厘米的精度。如果深度估计误差是4厘米,相当于你让机器人伸手去够一个杯子,结果判断出来的距离比实际远了四五个手指的宽度,这手根本够不着东西,或者直接撞上去。

HexaShell最后选择了一条完全不同的路:**三角测量**

> 三角测量:用两个不同角度的摄像头同时看到同一个点,两条视线在空间中相交的那个位置,就是这个点的真实三维坐标,原理和人眼判断距离的方式类似。

这个原理其实一点都不玄乎。你闭上一只眼睛去抓桌上的杯子,会发现判断距离明显变难了,因为少了另一只眼睛提供的第二个视角。两只眼睛各自看到物体的角度稍有不同,大脑把这两个角度一结合,就能算出物体离自己多远。三角测量用的正是同一个原理,只不过这里的"两只眼睛"是两个标定过的摄像头,数学上通过计算两条视线的交点来确定物体的位置。

机器人系统里,摄像头经过了精确的标定,机械臂自己也清楚知道手腕所在的位置。研究者给了三角测量三种具体的实现方式:

- **桌面平面约束**:有一个专门的共享工具叫table_plane,会在每一轮任务开始时测量一次桌面的真实高度,通过比较不同摄像头看到的桌面图像在哪个高度假设下重合度最高来确定,这个过程不消耗机器人的动作步数

- **已知平面约束**:如果某个物体表面的高度能在任务过程中测出来,比如积木块的顶面、碗的边缘,那么只要知道这个平面的高度,穿过某个像素的那条视线和这个平面相交的点,就是物体所在的位置

- **双视角三角测量**:如果两个摄像头都能看到同一个点,两条视线几乎相交的那个位置,就是三角测量得出的坐标

当头部摄像头一个视角不够用的时候,比如物体被别的东西挡住了,或者角度太刁钻,机器人会主动移动手腕上的摄像头,去获得第二个观察视角。这个做法有个专门的名字,叫**主动感知**

> 主动感知:传感器本身不是被动接收信息,而是主动移动位置,去获取更有用的观测角度,这个概念早在上世纪80年代的计算机视觉研究里就有人提出过。

但主动感知不是免费的。移动手腕去获取第二个视角,本质上是在消耗机器人的动作步数,而RoboDojo里每个任务都有严格的步数上限。这就形成了一个真实的权衡:要更准的测量,就要花更多的"时间预算"。

论文里专门量化了这笔账。在420次重测任务里,三角测量方案有3.6%的执行步数花在了"看一眼"这件事上,而深度网络方案只花了0.7%。但这笔投入值不值?数据给出了明确的答案:在那180个需要额外观察视角的布局里,三角测量方案成功了39次,而深度网络方案在完全相同的布局上只成功了22次。统计检验显示这个差距在统计上是显著的。

花时间多看一眼,看起来是浪费,实际上是把钱花在了刀刃上。这就像你去陌生城市找一家餐厅,导航软件给你一条路,你犹豫要不要相信,干脆多花两分钟走到路口抬头看一眼实际的路牌。多花的这两分钟,表面上拖慢了行程,但避免了你按照错误的导航走出三公里才发现方向反了。三角测量多花的那几步动作预算,换来的是实实在在测准了物体位置,而不是凭一张误差好几厘米的深度图瞎猜。

更直接的对比是,把三角测量和深度估计网络放在完全相同的任务布局上跑一遍,三角测量在RoboDojo官方评分指标上高出8.7分。用统计学里的配对检验方法逐个布局比较,三角测量把57次原本失败的任务变成了成功,而反过来让深度网络独赢的布局只有23个,这个差距在统计意义上非常显著。

精度与推理的分界线:接触,不是脑子,才是瓶颈

HexaShell在整体排行榜上拿了第一,但这个"第一"背后藏着一道清晰的分界线,值得仔细看看。

论文把RoboDojo的42个任务按"需要什么样的身体接触"分成了六类:刚性物体抓取摆放、推拉滑动、精密插接、关节物体和工具使用、可变形或流体物料、以及物体自主运动的场景。又按"除了物理动作之外还需要什么样的判断"分成了三类:纯几何判断、符号语言类判断、以及记忆类判断。

把这两套标签交叉起来看,一个很清楚的规律浮现出来。

**推拉类任务,HexaShell的成功率是92.5%,记忆类任务是81.0%,但精密插接类任务只有32.0%左右,这个数字背后是七分之二的插接任务直接是0分。**

这不是偶然。精密插接这类任务,需要在零件和孔洞之间对齐到几毫米甚至几度的精度,而HexaShell靠的恰恰是没有深度信息的RGB三角测量。头部摄像头拍到的画面里,一个像素对应到实际桌面上大概是2到3毫米的范围,这个精度级别,对付抓取积木够用,但对付插钥匙孔这种任务,一个像素的误差就可能让整个插接动作失之毫厘谬以千里。

而且更麻烦的是,插接任务往往需要在机械手已经抓着零件的情况下,去观察孔洞和零件之间的相对位置,这时候很难再腾出一个干净的视角去做第二次三角测量。论文里举了"倒液体到杯子"这个任务作为例子,成功率从别的条件下的59%到95%,一下子掉到了0%到10%,原因就是倒液体需要测准杯口的边缘,而没有深度信息的情况下,这个测量本身就太弱了。

这个分界线也体现在失败的方式上。论文分析了268次失败案例的具体原因,发现不同类别的任务,失败的"性质"完全不同。

在可变形物料、关节物体和刚性任务上,60%到77%的失败是因为**耗尽了步数预算**:机器人其实知道自己没做对,一直在尝试纠正,但步数用光了还是没成功。这说明它清楚自己失败了,只是动作执行层面搞不定。

而在记忆类任务上,一半的失败是智能体**主动宣布完成**,结果检查程序判定它其实没做对。它以为自己复现了之前的状态,实际上没有。这暴露的是视觉语言模型一个已知的弱点:对细微视觉差异的判断力不够强,对任务是否真的完成了,它的自我判断不够可靠。

这两种失败方式,性质完全不一样。前者说明的是"手不够巧",后者说明的是"眼神不够准"。知道一次失败属于哪一种,对接下来该优化哪个环节,意义完全不同。

这也呼应了一个更大的反差:在这篇论文整理的对比里,学习型策略模型里排名最高的VPP2,在精密插接任务上反而做得比HexaShell好(28.1%对32.0%左右,不过这里数字因测试条件略有出入,但趋势是明确的),在可变形物料任务上也明显更强(49.4%对33.3%)。这两类系统呈现出互补的能力图谱:**学习型策略靠大量示范数据练出了对精细接触的"手感",而靠写代码摸索出来的工具擅长的是能用几何测量搞定的事情,一旦涉及需要连续微调的精密接触,代码工具就露怯了。**

这背后其实是一个很朴素的道理。写代码能解决的问题,是那种"测量清楚了,照着算出来的轨迹走一遍就行"的问题。但插钥匙孔这种事,真实世界里人手是怎么做的?往往不是提前规划好一条完美路径一插到底,而是手指头插进去的过程中不断感受阻力、微调角度,这是一种边接触边调整的能力,论文管这个叫"实时感知接触并修正动作",而不是"提前规划好再执行"。目前的HexaShell,工具都是提前测量、提前规划的,一旦开始执行就不再根据接触反馈实时调整。这正是作者在结论部分提出的下一步方向。

从仿真搬到真实机械臂,改动有多大

验证一套系统有没有"水分",最直接的办法是看它能不能脱离仿真环境,放到真实的硬件上跑起来。

HexaShell团队确实这么做了。他们搭建了一套配备两只PiPER X机械臂的真实实验台,布置方式照着RoboDojo仿真场景来设计,用的也是经过标定的真实RGB摄像头。

这里有个细节值得注意:仿真环境里用的机械臂型号是ARX X5,而真实实验台用的是PiPER X,这是两种完全不同的硬件。

迁移过程里,只对机械臂型号做了一个小幅改动,感知工具和执行工具本身几乎原封不动地搬了过去。论文里展示了两个真实机器人上的成功案例:一个是把三块积木叠成一座塔,另一个是把三个字母积木沿着一根横杆排整齐。

**为什么能这么轻松地迁移?因为从一开始,这些工具在设计上就严格只依赖"任何真实机器人都会具备的输入":彩色图像、摄像头标定参数、机械臂自身的关节和末端位置。**

没有任何一个工具偷偷依赖仿真环境里才有的"上帝视角"信息,比如物体的真实坐标、任务配置文件里写死的尺寸数据。论文里专门提到,研发团队在RGB工具开发完成之后,还做了一次全面审计,把所有启用的工具里的每一个数字常量都拿出来,对照任务定义文件逐一核查,结果真发现了七个任务的工具里藏着一些写死的物体几何尺寸,比如固定的零件大小、模板形状。审计发现之后,这七个任务的工具被要求全部替换成在任务执行过程中实时测量出来的数值,然后重新测试,结果这七个任务的成功率全部归零。

这个细节其实挺坦诚的。它说明即便设计初衷是"只依赖真实可获得的信息",实际开发过程中依然很容易不小心混入仿真环境特有的"作弊信息",而团队选择把这些漏洞主动揪出来、修正,并且诚实地报告了修正后成功率归零的结果,而不是把审计结果藏起来不提。

这就好比你在练习盲拧魔方,训练过程中如果偷偷瞄了一眼魔方的颜色排布,哪怕只有一次,你练出来的"手感"里就混进了作弊的成分。等到真正蒙眼上场的时候,这部分作弊带来的"虚假自信"立刻会露馅。HexaShell团队做的审计,相当于主动检查自己有没有偷瞄,发现偷瞄了就老老实实把这部分能力清零重来。

写在后面

读完这篇论文,最让我意外的不是46.9%这个数字,而是那个22.5%到46.9%的跳跃。

同一个模型,同样没有见过任何机器人演示数据,仅仅是把"给AI一套固定的决策接口"换成"给AI一套几乎不做任何决策的薄壳",成功率直接翻倍还多。这说明在当前这一代大模型身上,限制它表现的很多时候不是能力本身,而是我们给它套的那层"保护壳"太厚、管得太多。这个发现背后藏着一个值得琢磨的问题:我们在设计人机协作系统的时候,是不是经常高估了"多帮AI一把"的价值,低估了"把决策空间还给它"这件事的收益?

论文里那个关于深度估计网络在手腕摄像头上误差高达10厘米的数据,也让我重新想了一下"伪装成技术进步的技术依赖"这件事。深度估计网络看起来是个更"高科技"的方案,一张图直接出深度图,听起来比老老实实用两个摄像头做三角测量要酷得多。但真实世界的精度要求面前,炫酷的黑箱方法输给了朴素的几何学,这事儿挺值得记一笔。

还有一个细节我反复琢磨:精密插接任务里,那个"插进去一半因为路径被挡住就直接放弃"的案例。优化智能体诊断出问题后做的修复,其实只是让机器人在路被挡住的时候,回头检查一下原本的路径是不是其实还能走,而不是立刻认定此路不通。这个修复听起来特别小,但它折射出一个更普遍的教训:很多AI系统的"保守"失败,根源不是能力不够,而是过早放弃了本来可行的选项。这跟人在遇到困难时容易过早下"做不到"的判断,是不是有点像?

这篇论文还留了一个没解决的问题悬在那里:怎么让机器人在接触发生的过程中实时调整动作,而不是提前规划好一条路径再一插到底。这件事说起来容易,做起来牵涉到的,可能不只是多加几个传感器那么简单,而是整个"先测量后执行"这套范式本身需不需要被重新设计。

如果有一天,写代码的AI真的学会了像人手一样,一边插钥匙孔一边感受阻力调整角度,那时候它还会不会被称作"写代码的AI"?

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。