你有没有遇到过这种情况：导航软件给你规划了一条路线，告诉你怎么走，但它完全不知道你骑的是自行车还是开的是SUV，不知道你是个新手司机还是老司机。规划和执行之间，隔着一条看不见的沟。
机器人控制领域长期以来就卡在这条沟里。
一套系统负责"看懂世界"，另一套系统负责"想清楚该怎么动"，两者分开训练，最后再想办法拼到一起。这篇来自UC San Diego、苏黎世联邦理工、英属哥伦比亚大学和布朗大学的研究团队发现了这个问题的代价有多大，并且给出了一个让人意外的解决方案：把"看"和"动"放在同一个训练过程里，一起学。
这篇论文的主角叫LeWAM，全名是端到端世界与动作建模。
机器人要完成一个任务，比如把一个方块推到指定位置，它得先看懂当前画面，再想象如果执行某个动作，世界会变成什么样，然后挑一个最接近目标的动作去执行。这个"想象未来"的能力，在人工智能领域有个专门的名字。
世界模型:一种让智能体在不真正执行动作的情况下，预测动作会导致什么后果的系统。它相当于机器人脑子里的一个"内心小剧场"。
过去几年，有一类叫联合嵌入预测架构的方法逐渐流行起来，专门用来构建这种世界模型。
JEPA(联合嵌入预测架构):一种不用重建像素画面，而是直接在压缩后的"潜在空间"里预测未来状态的建模方式。LeCun在2022年提出这个思路，核心想法是机器不需要把每一粒像素都画出来才算理解了世界，就像你不需要在脑子里重现一张高清照片才知道"这是只猫"。
这个想法听起来挺优雅，但问题也随之而来。
现在最先进的两个JEPA方案，一个叫DINO-WM，一个叫LeWM，都是分两步走：先训练一个视觉编码器，让它学会把画面压缩成有用的特征，再训练一个"动态模型"，让它学会预测给定动作后下一步会发生什么。等这两步都搞定了，才去接一个控制策略或者在线搜索算法，比如交叉熵方法，来决定具体执行哪个动作。
这就像先培养一个只会看地图的人，再培养一个只会开车的人，最后指望这两人配合默契地把车开到目的地。听起来就不太靠谱对吧。
研究团队发现这种分离训练确实埋了坑。JEPA这类表征学习方法有个毛病，它们倾向于记住画面里"持续不变的东西"，比如背景里一直晃动的树叶，而不是真正和控制相关的信息，比如机械臂末端的精确位置。而动作驱动的动态模型呢，又可能夹带了很多和观察本身相关但对决定下一步动作没用的冗余信息。
两边都学得"不纯"，拼起来自然打折扣。
那控制阶段呢？传统做法是用交叉熵方法这类基于种群的搜索算法，从一个很宽泛的高斯分布里随机撒一堆候选动作序列，然后一轮一轮淘汰筛选，留下得分最高的。
交叉熵方法(CEM):一种搜索算法，先随机生成大量候选方案，评估每个方案的好坏，保留最优的一部分，再根据这些优胜者重新生成下一轮候选，反复迭代直到收敛。它本质上是一种"大浪淘沙"式的试错。
这种方法在简单任务上还行，但一旦涉及接触丰富的操作任务，比如抓取、推压、插入这些需要机械臂和物体发生物理接触的动作，问题就暴露了。接触会让物理动力学发生突变，就像推一个箱子，推轻了箱子不动，推到某个临界力度它突然就滑动起来，这种"模式切换"让局部的动作微调变得毫无意义，因为相邻的两个动作可能导向完全不同的结果。
如果搜索算法随机撒下去的候选动作恰好都没碰到那个让物体发生有效接触的"甜蜜点"，那无论你怎么迭代优化，评分函数给出的反馈都是模糊不清的，因为它根本没见过"接触成功"是什么样子。
这就好比你在黑暗的房间里找开关，如果你随机伸手摸了一百次都没碰到墙上那块凸起的开关面板，你永远不知道"再往左挪一厘米"是不是正确方向，因为你压根没摸到任何有信息量的东西。如果不改变策略，一直在黑暗里瞎摸，那你要么浪费大量时间，要么永远找不到开关。换成机器人语境，就是搜索预算耗尽了，候选方案的质量还是一团糟。
这就是LeWAM要解决的核心问题：如何让表征学习、动态预测和动作生成，从一开始就长在一起，而不是事后拼接。
一个模型，三件事一起学
LeWAM的训练目标很直接：让同一个编码器、同一个预测器，同时完成两件事。一是预测"如果执行这个已知的动作序列，下一刻的潜在状态会是什么样"，这叫动态预测；二是学会"给定当前情况和目标，应该生成什么样的动作"，这叫动作生成。
这两件事用的是同一批观测数据，同一个视觉编码器，关键是同一次前向传播里一起优化，而不是先后分两阶段。
为了让这两种不同性质的任务共享信息又不互相干扰，团队用了一种叫混合变换器的架构设计。
MoT(混合变换器):一种让不同模态（比如这里的"状态预测"和"动作预测"）各自拥有独立的处理分支，但共享同一组注意力机制的网络结构。可以理解成两个专业不同的同事，各自有自己的工作台和工具，但坐在同一张会议桌上随时能看到彼此的进展。
具体来说，预测状态的分支叫状态分支，它能看到历史画面和已知的干净动作，去猜测未来的潜在状态。预测动作的分支叫动作分支，它接收加了噪声的动作序列，通过一种叫流匹配的技术逐步把噪声"去噪"成合理的动作。
流匹配(Flow Matching):一种生成模型训练方法，核心思路是让网络学会一个"速度场"，告诉你从纯噪声出发，沿着什么方向、多快地移动，才能逐步变成目标数据。这里用它来生成动作序列，而不是用传统的直接回归一个确定数值的方式。
这里有个很关键的设计细节：历史画面只能看自己，不能被动作分支直接窥探到。为什么要这么设计？因为如果让生成动作的分支能直接??看到未来状态的"答案"，它就可能学到一种作弊式的捷径，而不是真正理解"根据当前情况该怎么动"。研究者在注意力机制上专门做了掩码处理，像考场里给不同科目的学生发不同的试卷，确保信息流动是受控的，不会串题。
为了防止表征学习陷入"摆烂"状态，也就是网络学着学着把所有输入都压缩成同一个无意义的点（这叫表征坍缩），团队还加入了一个叫SIGReg的正则化约束。
SIGReg:一种约束方法，强制潜在空间里的表征分布接近一个标准的正态分布形状，防止网络学出退化、无意义的表征。这个方法来自Balestriero和LeCun在2025年的研究。
这几个部件加起来，整个模型只有大约1700万参数，相当精简。要知道现在很多视觉语言动作模型动不动就是几亿甚至几十亿参数，LeWAM用一个相对小巧的身躯，就实现了让人印象深刻的效果，这点后面数据会说话。
规划时，不是瞎撒网，而是带着经验去撒
有了这个训练好的模型，怎么用它来真正规划一次完整的动作序列呢？
LeWAM的做法分两步。第一步，不再像传统方法那样从一个毫无信息的宽泛高斯分布里随机撒候选动作，而是直接从训练好的"动作流"里采样一批候选方案。这些候选方案本身就带着从专家演示和各种交互数据里学到的"合理性"，相当于起点就比瞎猜高了一大截。
这就像请一个有经验的老司机帮你规划停车动作，而不是让一个完全没开过车的人随机转动方向盘。老司机给出的候选方案，哪怕不是最优的，至少都是"看起来像那么回事"的方案，而不是会把车开上马路牙子的离谱操作。如果没有这个学到的先验，候选池里混进去大量明显不合理的动作，后续的筛选和优化就要花更多时间去排除这些噪音，等于每次规划都要从零开始教机器人"什么叫正常开车"。
第二步，对这批候选方案做基于梯度的精细化调整。利用冻结的LeWAM动态模型计算每个候选方案最终抵达目标状态的"代价"，然后用梯度下降的方法，直接在动作空间里微调，让代价变得更小。因为这个过程可以利用GPU并行计算的能力同时处理大量候选，速度比传统的交叉熵方法要快得多。
研究团队给出的数字相当惊人：在四个需要视觉目标引导的任务上，LeWAM平均每秒能完成52.5次规划，而传统的交叉熵方法只能完成1.62次，整整快了32.3倍。
这个速度差异背后，其实是两种完全不同的"思考方式"。交叉熵方法像是闭着眼睛反复试错，每一轮都要靠运气碰撞出一些有效信息；而LeWAM的梯度精细化则像是睁着眼睛沿着坡度往下走，每一步都知道该往哪个方向调整。
效果到底好不好：十个任务的实测对比
说了这么多设计理念，具体效果怎么样？研究团队在十个风格迥异的模拟环境里做了测试，涵盖导航、接触丰富的操作、精细灵巧动作等多种类型。
对比的基线方法包括：原本的LeWM配合交叉熵搜索、LeWM配合后训练的逆动力学模型、基于冻结DINOv2特征的DINO-WM、以及目标条件行为克隆方法。
结果显示，十个任务平均下来，LeWAM的成功率达到93.5%，而原来的LeWM配合交叉熵搜索只有50.9%，差了整整42.7个百分点。在接触最丰富的ToolHang任务上，差距尤其夸张：94.7%对35.4%；在Transport任务上更是悬殊，83.3%对2.8%。
这个2.8%是什么概念？意味着一百次尝试里，交叉熵方法将近有九十七次失败。换成人话讲，就是旧方法在面对复杂接触操作时基本是在"抓瞎"，而新方法做到了接近完美的稳定性。
研究团队还特意测试了长时间跨度规划的能力，把目标帧放到更远的位置，模拟机器人需要完成一个更长、行为更多样的任务序列。在把目标设定为100步之后的状态时，LeWAM在四个任务上平均成功率是46.2%，而LeWM只有10.9%。
这意味着什么？意味着当任务变长变复杂，老方法几乎彻底失效，而新方法虽然成功率也在下降，但依然保留了接近一半的可用性。这个差距随着任务难度增加而拉大，说明长时间规划的误差积累问题，在LeWAM身上得到了明显缓解。
为什么会学得更好：几个关键原因拆解
研究团队没有止步于展示结果好，还做了一系列拆解实验，试图回答"为什么联合训练比分开训练更有效"。
第一个发现是关于SIGReg正则化约束的重要性。如果去掉它，单纯依赖动态预测目标训练出来的LeWM，在Push-T这个任务上的所有线性探针测试结果都是0，意味着表征完全坍缩，什么有用信息都没留下。而LeWAM即便没有SIGReg，依然能保留可解码的状态和动作信息，这说明"预测动作"这个目标本身，也能充当一种防止坍缩的锚点。
但光靠动作监督还不够。研究团队发现，加上SIGReg之后，规划成功率的提升幅度在Push-T任务上是14.7个百分点，而不加SIGReg只有2.7个百分点。这说明两种约束各管一段：SIGReg维护全局的分布健康度，动作监督保证局部的控制相关细节不被丢弃，两者缺一不可。
第二个发现是关于是否应该端到端训练视觉编码器。研究团队对比了三种编码器方案：从零开始联合训练的编码器、冻结的DINOv2 CLS特征、冻结的DINOv2局部patch特征。结果显示，端到端训练的编码器直接执行成功率平均86.7%，冻结CLS特征是79.0%，冻结patch特征是75.8%。
这个差距提示了一个常被忽视的问题：预训练好的通用视觉特征，虽然在图像分类、分割这类任务上表现优异，但未必携带了控制任务真正需要的那种信息，比如机械臂末端相对物体的精确空间关系。
这就好比请一位世界级的美术评论家来帮你修车，他能精准描述这台车的颜色构图有多美，但未必知道螺丝该往哪个方向拧。专业领域不同，有用的"看"的方式也不同。如果继续用那种只擅长欣赏画面美感的特征去做控制任务，结果就是机器人"看得懂画面却不知道怎么动手"，这正是端到端训练要解决的错位问题。
第三个发现关于用流匹配生成随机动作分布，而不是用传统的均方误差直接回归一个确定的动作值。在相同的动态预测目标下，流匹配带来的规划提升幅度明显更大。研究团队用了一个很直观的两门导航实验来说明这点：机器人需要从起点走到终点，一半的专家示范走上面那道门，一半走下面那道门。
用流匹配训练的策略，执行时能同时保留走上门和走下门两种路线选择；而用均方误差训练的策略，因为它本质上只能学到"条件均值"，也就是两条路径取平均后的那个"折中方案"，结果反而把两条合理路径硬生生拧成了一条会撞墙的路径。
这里的道理挺深刻：如果一个目标状态存在多种合理的到达方式，用均值去描述这些方式，往往会得到一个哪种方式都不是的奇怪结果。就像问一百个人"从北京去上海怎么走最好"，一半人说坐高铁，一半人说坐飞机，你把两种方案的具体操作步骤取个平均，得到的大概是一个既不是坐高铁也不是坐飞机、根本不存在的荒诞流程。流匹配因为建模的是整个分布而不是单点，所以能避免这种"平均主义"的陷阱。
既能规划，也能直接干活
LeWAM除了支持前面说的"看目标图像去规划"这种模式，还支持另一种模式：不给目标图像，直接根据历史观察连续执行动作，这叫行为克隆，更接近人类教机器人干活的方式，比如示范一遍，机器人学着做。
在三个需要复杂操作、没有目标提示的模拟任务上，LeWAM和经典的Diffusion Policy方法做了对比。结果是两种方法各有胜负，但在Transport这个任务上，LeWAM把成功率提升了16个百分点。
更有意思的是物理机器人实验。团队搭建了真实的机械臂平台，收集了三个任务的遥操作演示数据：捡起T形积木摆放到指定位置、推动T形积木到指定区域、把一卷胶带叠放到另一卷胶带上面。
对比对象包括Diffusion Policy和Physical Intelligence公司的π0.5视觉语言动作模型，这是一个相当有分量的工业界基线。结果显示，LeWAM在整体成功率上和两个基线旗鼓相当，而在计算效率上有明显优势：完成一次完整动作块推理需要的浮点运算量，LeWAM只有π0.5的大约十三分之一。
这个效率差距的意义在哪？意味着同样的硬件条件下，LeWAM能支持更高频率的决策循环，这对于需要快速反应的实时控制场景很重要。想象一下两个人同时在高速公路上开车，一个每秒能做十次判断，另一个每秒只能做一次，遇到突发情况谁的反应空间更大，答案显而易见。
这篇论文的技术边界与局限
研究团队自己也坦诚列出了几个限制。目前的训练数据规模还比较有限，专家示范和非专家交互数据的覆盖面不够广，尤其是接触丰富任务的多样性有待扩充。模型目前是针对单一任务和单一机器人身体结构分别训练的，还没有做到跨任务、跨机器人形态的统一训练。另外整个系统目前只支持底层的连续控制，更长的任务链条还需要一个高层规划器来拆解成多个子目标，LeWAM负责执行每个子目标里的具体动作。
写在后面
读到这篇论文的时候，有个细节让我反复琢磨：为什么流匹配能保留两条路径，均方误差却会把路径拧成撞墙的方案，这个现象放在更大的尺度看，其实揭示了一个很容易被忽视的建模陷阱。很多系统在设计评估指标或者训练目标的时候，默认假设"正确答案"是唯一的，用均值去衡量误差，但现实世界里大量问题的正确答案本身就是多元的。这不只是机器人控制领域的问题，推荐系统、对话生成、甚至医疗决策支持系统，都可能踩中同样的坑：把本该是分布的东西，强行压扁成一个点。
另一个让我意外的地方是那个关于Cube任务的"退化成功率"修正。原始的成功判定只看物体位置对不对，不管机械臂末端有没有真正到位，结果42.7%的"成功"案例其实是机械臂完全没碰到位置、但物体恰好还停在那里的假成功。这提醒我，评估指标的设计本身就是研究里最容易出错、也最容易被忽视的一环，一个看起来合理的判定标准，可能悄悄放水了大半的虚假胜利。
这篇论文把表征学习、动态建模和动作生成拧到一起训练的思路，让我联想到教育领域一个老生常谈但常被违背的道理：知识和应用分开教，学生往往学不会灵活运用；而把概念和实践场景绑在一起教，哪怕内容更难，掌握得反而更牢。机器人学习是否也该走这条路，看来答案已经比较清楚了。
Q&A
Q1：LeWAM是什么？
A：LeWAM是一个端到端的联合嵌入预测架构，它把视觉表征学习、动作条件下的动态预测、以及随机策略生成放在同一个训练阶段一起完成，而不是像以往的方法那样分阶段训练再拼接。
Q2：LeWAM相比之前的方法效果提升有多大？
A：在十个模拟环境测试中，LeWAM平均成功率达到93.5%，远超原LeWM配合交叉熵搜索的50.9%；在长时间跨度任务上成功率是46.2%对10.9%；规划速度比交叉熵方法快32.3倍。
Q3：LeWAM能不能在真实机器人上使用？
A：可以，研究团队在真实机械臂上测试了捡放积木、推块、叠胶带三个任务，LeWAM成功率和Diffusion Policy、π0.5等工业界方法相当，同时计算效率比π0.5高出约13倍。
