你有没有想过，为什么你能轻松地把一个碗放到盘子中央，而一台配备了顶尖AI大脑的机器人却经常做不到这件事?
这不是危言耸听。2026年之前，让机器人干活主要靠两条路。第一条路是训练一个专门的动作模型，喂给它海量的"看图做动作"数据，指望它学会怎么拧螺丝、怎么抓杯子。第二条路更聪明一点，用像GPT这样的通用视觉语言大模型去理解任务，然后让它写一段代码或者给出一些空间坐标，再交给下面的程序去执行。
问题出在哪儿?第一条路走着走着，你会发现越训练这个AI去做动作预测，它原本强大的常识和推理能力反而会退化，像一个学者天天只做体力活，慢慢就忘了怎么做学问。第二条路呢，AI只是"看了一眼"场景就凭空写代码，代码写完直接执行，它自己根本没法验证这个动作到底靠不靠谱。等发现不对，机器人可能已经把杯子打翻了。
这篇来自香港科技大学（广州）、中文大学和Knowin AI团队的论文，就是奔着这个矛盾去的。他们的方案叫World Action Agent，简称WAA。
WAA是什么：让AI在虚拟世界里先"演一遍"
这篇论文的题目直译过来是"世界行动智能体：通过世界行动排练驾驭视觉语言模型进行机器人操作"，这个名字信息量很大，但拆开看其实逻辑很清楚。
先说一个此前已有的尝试，叫做Show-Harness。它的思路是给VLM一个可视化的机器人操作界面，让它像玩游戏一样直接选动作、修改动作。这已经比闷头写代码强多了，但研究者们发现它还是不够用。用同样的Gemini 3.7 Flash模型跑Show-Harness，在LIBERO-Pro基准测试上平均成功率只有6.7%，空间摆放任务甚至是0%。
VLM*：Vision-Language Model，视觉语言模型，一种既能看懂图片又能理解文字的AI，比如GPT-4V、Gemini。
问题出在哪儿?论文里总结了三个缺陷。第一，摄像头给的是一个全局视角，机器人的手、被抓的物体、目标位置之间的细微关系根本看不清楚。第二，AI一旦下达指令，动作立刻执行，它没有办法在动手之前先看看这个动作靠不靠谱。第三，AI在图像里看到的是"偏差"，但要纠正这个偏差，得先把图像里的偏移换算成三维空间坐标，这个转换本身就容易出错，而且割裂了看和做的联系。
WAA针对这三个问题，给了三个对应的设计。
**第一招是"贴近现场"的观察视角。**
WAA不满足于一个固定的全局摄像头，它会根据当前正在进行的交互，自动计算出两个"贴近视角"，论文里叫Contact views。
Contact views*：贴近视角，根据当前机器人和物体的交互位置自动生成的两个正交摄像机视角，专门用来展示局部的抓取、放置关系。
这两个视角是怎么选出来的?论文给了一个优化公式，核心是要同时满足四个条件：交互区域和机械手要清晰可见，画面要紧凑聚焦，两个视角不能提供重复信息，相邻帧之间视角不能跳变太大。特别值得一提的是，这两个视角被强制要求在水平投影上互相垂直，这样任何一个方向的偏差都能被至少一个视角清楚地看到。
这就好比你在穿针引线的时候，光靠余光瞄一眼整个房间是没用的，你得把针眼和线头凑到眼前，而且最好换两个角度看，一个从正面看线有没有对准针眼，一个从侧面看线有没有插进去。全局视角相当于你站在房间中央看整个场景，能知道自己大概在哪个位置操作，但真要穿针的那一下，非得贴近了看不可。如果没有这两个正交的贴近视角，AI就只能凭一个模糊的全局印象去判断毫米级的对齐，这就是为什么零样本情况下Show-Harness在空间摆放任务上直接挂零，而WAA哪怕不加任何技能库也能拿到28.9%的平均成功率。
**第二招是"动作彩排"，论文叫action rehearsal。**
这是WAA最核心的设计之一。AI不再是"想好就做"，而是先提出一个动作的草稿方案，这个方案会被套上一层半透明的虚拟机械手叠加显示在画面里，同时后台会用运动规划器（论文用的是cuRobo）去检验这个动作到底能不能被机械臂真正执行出来，会不会撞到旁边的东西。
cuRobo*：一种并行化的、能快速做碰撞检测和运动规划的机器人控制算法库，用来验证一个目标姿态是否物理上可达。
如果规划失败，AI会看到明确的反馈，然后可以修改这个虚拟提案，比如把机械手抬高一点，或者旋转一个角度，再重新检验，直到规划通过为止。对于需要精细调整的场景，主控AI还可以把这个"想象和修改"的活儿外包给一个专门的Imagination Agent，这个子智能体在独立的对话上下文里反复调整和重新规划，只把改好的最终方案返回给主控AI，物理世界在这整个过程中完全没有被碰过。
论文里给了一个特别直观的例子，机器人想去抓橱柜把手，第一次提议的姿态角度不对，规划直接报"不可行"，Imagination Agent把候选姿态旋转了一下，规划变成"可行"，然后主控AI再微调位置对准把手，最后才真正执行。
这个设计的意义在哪?试想一下你在装修房子，要往墙上钉一颗钉子，你会不会抡起锤子直接砸下去，砸完发现钉歪了再拔出来重钉?正常人都会先用手扶着钉子比划一下位置，觉得差不多了再下手。彩排机制干的就是这件事，它把"动手"和"想清楚"这两步彻底分开了。如果没有这个环节，机器人的每一次尝试都是真枪实弹，失败的代价是打翻的碗、撞坏的物体和浪费掉的时间。数据也印证了这一点，在需要精细空间关系判断的Spatial任务上，WAA的两个子项分别拿到80.0%和73.3%的成功率，远远甩开了同样基于代码生成思路的ASPIRE（51.0%和60.0%），差距的关键就在于代码型方法没法在执行前先验证动作靠不靠谱。
**第三招叫"就地纠错"，也就是in-view correction。**
大动作规划完了执行没问题，但机械臂真正落地的时候，深度传感器的噪声、相机标定的误差、接触瞬间的扰动，总会留下一点点残余偏差，而恰恰是这一点点偏差往往决定了放置任务的成败。
WAA让AI直接在贴近视角的画面里画一条拖拽线，从物体当前的位置拖到它该去的位置，系统会利用这个视角的相机标定参数，把这条二维的拖拽线换算成机械臂末端一个有边界限制的三维位移，然后立刻执行。拖拽的起点可以是机械手本身，也可以是抓着的物体上一个可见的点，这样AI表达纠正意图的时候，根本不需要先把"物体应该往哪挪"翻译成一个绝对的机械手坐标，直接在画面里比划就行。
论文里的案例是这样的：机器人抓着一个碗准备叠放在另一个碗上，从正面视角Contact A看似乎已经对齐了，但换到侧面视角Contact B，一个明显的偏移就露出来了，AI在这个视角里把碗拖拽向目标位置，系统换算成动作执行完，两个碗才真正叠好。
这就像你在用手机导航开车，路口那一下如果地图只给你一个大概方向"往前开500米左转"，你很可能在具体哪个岔口左转上出错，但如果导航能实时告诉你"再往左偏一点，就是眼前这个路口"，出错的概率就大幅降低了。就地纠错解决的正是"大方向对了、细节还差一口气"的问题，如果没有这个机制，机械臂做完规划动作之后哪怕差了一厘米，也没有办法优雅地补救，只能靠重新抓取这种代价更高的方式来修正。
技能是怎么学出来的:从一段视频到一整套经验
光有一个能观察、能彩排、能纠错的操作界面还不够，机器人还得知道具体该怎么干活，比如抓取的时候先接触哪一侧、放下之前要确认什么关系、抓空了怎么补救。这些属于所谓的"具身程序性知识"，是VLM在预训练阶段几乎学不到的东西。
WAA给出的答案是搭建一个多模态技能库，而且这个技能库的学习方式相当讲究。
整个流程由三个角色协作完成，都是由GPT-5.5驱动的。Learner负责观看专家演示视频，在画面出现明显状态变化的地方切片，把接触关系、物体运动、支撑变化这些信息翻译成操作语言，提炼出候选知识点，并且每一条都要标注来自视频的哪一帧作为证据。关键的是，Learner不会去读已有的技能文本，这样保证新证据不会被先入为主的结论带偏。
接下来Editor会拿着这些候选知识去和已有的技能程序、参考图像做比对，决定是新增、修改、废弃还是暂缓，每一步修改都要有源视频帧作为视觉证据支撑。最后Reviewer会独立地对着原始证据重新核查Editor改过的内容，把发现的具体问题打回给Editor，只有真正有证据支撑、而且不破坏原有适用条件的改动才能真正进入技能库。
这套"提炼-编辑-审查"三重把关的流程，读起来有点像学术论文的同行评审。论文里举了一个很说明问题的例子：团队用一段专家演示视频教会机器人开炉灶，Learner一开始起草的技能把"旋钮转动了"就当作成功标志，但Reviewer审核时指出这只是"中间接触信号"，不等于炉子真的被打开了，于是Editor把技能改成必须看到炉灶明确亮起红色的激活反馈才算数。结果这个只从一次演示中学到的技能，在LIBERO-Pro的十次测试里全部成功。
这个细节值得多说两句。假设你带一个新员工，只让他看一遍老师傅操作的视频就上岗，大概率会出问题，因为视频只展示了正确做法，从来不会告诉你哪里容易出错、出错了怎么办。WAA意识到了这一点，所以除了看视频学习，还专门设计了一个Canvas-GUI，让人类可以用和AI完全一样的界面去操作机器人，包括在画面里点选目标、在贴近视角拖拽纠错、预览和执行动作提案。这样一来，人类教学产生的操作记录和AI自己产生的交互记录格式完全一致，都能进入同一套学习流程。
更妙的是，Learner还会专门对比AI自己失败前的尝试和人类从同一个状态出发做出的正确修正，找出到底是接触位置、对齐方向还是松手时机出了差错，把这种"错误恢复"的经验也提炼成技能，同样要经过Editor和Reviewer的审核才能生效。
这套机制解决的根本矛盾是什么?是"从少量示范中学会可迁移的经验"和"避免学到错误或过拟合的经验"这两者之间的张力。如果不设审核机制，任由AI自己从视频里总结经验，很可能学到一些表面正确、实际上经不起推敲的规则，就像前面提到的"旋钮转了就算开炉子"，这种规则换一个场景可能完全不成立。
技能库学出来之后要怎么用呢?论文里设计了一个专门的Skill Agent来做这件事，它跑在独立的上下文里，负责挑选相关的技能片段和参考图，和当前画面做对比，然后报告这个技能是否适用、场景有什么差异、哪些关系还没法确认。主控AI拿到的是完整的技能文字说明，而参考图像只留在Skill Agent那边，这样可以避免历史图片被误认成当前场景，也让主控AI的对话上下文保持精简。而且这种场景相关的建议是有"保鲜期"的，一旦观察或控制状态变了，旧的建议就会失效，不会误导AI继续按过时的指导行动。
用小模型接班:把经验蒸馏进9B参数的AI
大型商用VLM效果虽好，但调用成本和延迟都不低。论文最后做了一个很实际的实验，把WAA在执行过程中产生的交互记录，拿来微调一个开源的小模型Qwen3.5-9B，让它接替主控AI的角色，其他子智能体和整套视觉工作空间保持不变。
训练数据来自112次成功的操作轨迹，一共1774个决策步骤，全部使用LoRA做参数高效微调，只训练了2160万个参数，用4张H20显卡跑了9.5个小时。
LoRA*：Low-Rank Adaptation，一种只微调模型内部一小部分低秩矩阵参数、而不是整个模型的高效微调技术，能大幅降低训练成本。
结果相当亮眼。微调前的Qwen3.5-9B几乎不会用这套操作界面，域内成功率是0%，域外更是只有1.7%。微调之后，域内任务成功率跳到55.0%，域外也提升到43.3%。这说明什么?说明这套视觉行动工作空间本身是可以被"教会"的，它不是某个大模型独有的能力，而是一种可以被传授的操作范式，这为后续降低成本、提升响应速度留下了清晰的路径。
成绩单:数字说话
在LIBERO-Pro这个专门检验机器人泛化能力（而不是死记硬背）的基准上，WAA配合只从LIBERO-90训练集学出来的技能库，拿到了75.6%的平均成功率，超过了此前最强的ASPIRE方法（72.0%）。
LIBERO-Pro*：一个专门用来检验视觉语言动作模型是否真正理解任务、而不是靠记忆训练集蒙对答案的机器人操作基准测试。
具体拆开看更有意思。在需要centimeter级空间摆放精度的Spatial任务上，WAA的优势最明显，两个子项分别是80.0%和73.3%，而ASPIRE只有51.0%和60.0%。但在Object任务上ASPIRE反而更强，两项都接近或达到95%以上。这说明什么?说明ASPIRE这种代码即策略的方法在物体识别抓取这类相对标准化的操作上已经打磨得很成熟，但一旦涉及需要实时视觉反馈微调的精细摆放，开环的代码生成方式就明显吃力了。
对比端到端的动作模型更是碾压级别的。OpenVLA在整个测试集上是0.0%，π0.5也只有12.8%，这类模型一旦遇到没见过的指令组合和物体搭配，几乎完全失效，因为它们的训练数据分布覆盖不到这些新情况，而WAA因为保留了通用VLM原本的推理和理解能力，反而更能应对陌生组合。
效率方面同样值得关注。论文对比了WAA和Show-Harness每回合的成本，WAA平均只需要31次模型调用、150秒，花费0.1996美元，而Show-Harness需要120次调用、874秒，花费0.5021美元，差了两倍多。这说明WAA的设计不只是效果更好，运行起来也更省钱更快。
技能库还有一个很能打的表现，就是跨仿真环境的迁移能力。研究者把只在LIBERO-90里学到的技能，原封不动地搬到另一个完全不同的仿真平台robosuite上测试，场景、物体、摄像头位置全都不一样。结果WAA不加技能库就已经能在抓取和堆叠任务上做到100%成功，重新叠放任务是60.0%，加上冻结的LIBERO技能库后，重新叠放任务直接冲到100%，而对照组CaP-Agent0配合RATs技能只能做到63.3%的平均成绩。
论文还测试了WAA对不同三维感知输入源的适应性。原本用的是仿真器直接给出的点云数据，换成融合多个RGB-D摄像头的点云、或者用VGGT这种纯RGB重建算法生成的点云之后，平均成功率分别只掉了4.5和6.7个百分点，而且这两种设置依然在Spatial任务上超过所有对照方法。
VGGT*：Visual Geometry Grounded Transformer，一种能仅从多张普通RGB图片重建出三维场景结构的模型，不需要专门的深度传感器。
这意味着WAA这套框架不依赖某种特定的三维感知硬件，只要能拿到机器人基座坐标系下的场景点云，不管这个点云是怎么来的，整套贴近视角选择和动作彩排机制都能照常运转。
失败案例告诉我们什么
论文也很坦诚地展示了三个失败案例，这一点值得称赞，因为很多论文只挑成功的例子讲。
第一个案例是跨视角判断失误。机器人准备抓一个布丁盒之前，AI从正面视角判断两个手指都覆盖住了盒子的侧壁，但侧面视角其实显示盒子和手指是错位的，最终抓了个空。这说明即使有了两个正交视角，AI综合利用多视角信息的能力依然有限，这个瓶颈本质上是背后大模型自身多视角理解能力的局限，不是操作界面设计的问题。
第二个案例是物体身份追踪丢失。任务要求操作橱柜上一个带花纹的碗，但AI在执行过程中跟丢了目标，先是转向操作炉灶上的另一个碗，后来甚至去抓一个小陶罐。这提醒我们，视觉定位和语言指令之间的绑定关系，在长时间的多步骤任务里依然容易漂移。
第三个案例是过早判断任务完成。AI描述碗已经居中稳妥放好，实际上碗还偏在盘子边缘，松手之后AI依然坚持认为放置完成了。这暴露出对最终物体和目标关系的几何验证还不够严格，某种程度上是AI"自我感觉良好"，没有做到真正的证据驱动判断。
这些失败案例其实反过来印证了论文的一个核心观点，就是通用VLM的空间理解能力本身仍是整套系统的天花板，WAA这套工作空间设计能最大限度地释放VLM已有的能力，但没法凭空创造出VLM本身不具备的精度。
写在后面
读完这篇论文，我印象最深的其实不是那个75.6%的成绩单，而是"彩排"这个设计背后的思路转变。
过去很多机器人研究者面对VLM空间精度不够的问题，第一反应往往是去训练一个更专门、更精细的动作模型，本质上是想用更多数据、更强的监督去硬啃这个精度问题。而WAA团队选择的路径完全不同，他们没有去改AI本身，而是改变了AI"看到什么"和"决定生效的方式"。这有点像解决一个人手抖写不好字的问题，与其花大力气去矫正他的手部肌肉控制能力，不如给他一支可以先在空中比划、确认无误再落笔的笔。这种"改造环境而非改造能力"的思路，其实在很多工程领域都值得借鉴。
另一个让我觉得有意思的细节是，人类通过Canvas-GUI教机器人的那部分设计。研究者没有让人类去写复杂的规则或者标注海量数据，而是让人类直接"上手操作"，用和AI一模一样的界面去纠正它的失误，然后系统自动把这种示范转成可复用的知识。这其实是在用最低的门槛去采集最有价值的数据，人类不需要懂编程，只需要能像玩一个简单游戏一样操作机器人。这种设计对未来普通人参与AI训练可能有更广泛的启发。
论文里那三个失败案例也让我停下来想了很久。一个AI已经能规划、能彩排、能纠错，却依然会因为综合不了两个摄像头视角的信息而抓空一个布丁盒，这说明再精巧的工作流程设计，终究是在给一个已有能力的模型搭建更好的发挥舞台，而不是凭空补齐它的短板。如果哪天VLM的多视角空间推理能力本身有了质的飞跃，WAA这套框架会不会释放出更惊人的表现?这可能是留给下一代研究去回答的问题。
Q&A
Q1：World Action Agent是什么？
A：World Action Agent（简称WAA）是一套多智能体机器人操作框架，让通用视觉语言模型（VLM）能像驾驶员一样通过贴近观察、动作彩排、就地纠错三大机制直接操控机器人，而不需要重新训练模型本身。
Q2：WAA和之前的Show-Harness相比有什么优势？
A：同样使用Gemini 3.7 Flash模型，Show-Harness在LIBERO-Pro测试上平均成功率只有6.7%，而WAA零样本情况下就达到28.9%，加上技能库后更是提升到75.6%，同时每回合成本和耗时都只有Show-Harness的一半以下。
Q3：WAA的技能库是怎么训练出来的？
A：技能库通过Learner、Editor、Reviewer三个角色协作完成，从专家演示视频和人类教学中提炼经验，每一步修改都需要视觉证据支撑并经过独立审查，最终只需一次演示就能学会新技能，且能跨仿真环境迁移使用。
