你有没有遇到过这种情况：开惯了一辆车，突然换一辆新车，方向盘转同样的角度，车子转弯的幅度却完全不一样,你下意识的操作全都"失准"了。
这正是机器人世界模型面临的核心困境。
一个经过训练的机器人,比如一只机械臂,学会了预测"如果我这样移动,接下来会发生什么"。这套预测能力是靠大量模拟训练出来的,机器人在训练环境里反复试错,逐渐摸清了这个世界的物理规律:力气要用多大,摩擦有多强,关节怎么联动。可一旦把它搬到一个新环境,哪怕只是关节的响应速度变了,或者物体的摩擦系数不同了,这套预测就全乱了。机器人还在用旧世界的规则去猜新世界会发生什么,猜错了,动作自然也就跟着错。
来自本田研究所和约翰斯·霍普金斯大学的研究者们,就盯上了这个问题。他们提出了一套名为JEPA-TTT的方法,试图让机器人在真正干活的时候,边做边学,悄悄把这套内部的"世界预测器"修正过来。
世界模型,到底是什么
要理解这篇论文,得先搞清楚"世界模型"这个概念。
世界模型*:机器人或智能体内部的一套预测系统,用来猜测"如果我采取某个动作,世界接下来会变成什么样"。有了这个预测能力,机器人才能在真正行动之前,先在脑子里"预演"几种方案,挑出最好的那个再执行。
这就像你出门前会在脑子里过一遍路线:走这条路会不会堵车,走那条路会不会更快。世界模型干的就是这个事,只不过它预演的不是堵车,而是"推这个方块会滑到哪里""转这个关节手臂会摆到什么角度"。
这篇论文用的世界模型叫JEPA。
JEPA*:全称Joint-Embedding Predictive Architecture(联合嵌入预测架构),一种不需要还原出完整画面,只需要预测"压缩后的状态表示"的建模方式。
这里有个关键的设计选择,值得多说一句。传统的世界模型往往要"生成"画面,比如预测下一帧视频长什么样,这意味着模型里得有一个解码器,把压缩的内部状态还原成图像。而JEPA不走这条路,它只在抽象的特征空间里做预测,不管画面具体长什么样,只管这个场景的"本质状态"接下来会怎么变。
这个选择带来的好处是显而易见的:省掉解码器,计算量就小了很多。论文里特意强调了这点,因为他们要做的是测试阶段的实时学习,计算资源有限,用不起又慢又贵的生成式模型。
那JEPA世界模型内部具体长什么样?它有两个关键部件。一个叫编码器,负责把摄像头看到的画面压缩成一个紧凑的"状态向量"。另一个叫预测器,负责根据当前状态和即将执行的动作,推算下一个状态向量会是什么。打分这件事则交给第三个独立模块,叫奖励头,它读取状态向量,给出一个分数,代表这个状态有多接近任务目标。
打个比方,这三个部件分工就像一个团队在合作导航:编码器是"翻译官",把眼前路况翻译成简洁的坐标信息;预测器是"推算员",根据你打算怎么打方向盘,推算车子接下来会开到哪;奖励头是"评分官",看推算出来的位置离目的地还有多远。如果不这样分工,把三件事全揉在一个黑箱里,那你根本没法单独修正"推算员"犯的错,只能把整套系统推倒重来,代价太大了。
这正是JEPA-TTT这篇论文最核心的设计思路:只修"推算员",不动"翻译官"和"评分官"。
为什么只调整预测器,而不是整个模型
论文的研究者们面临一个选择:当机器人进入新环境,到底该调整模型的哪个部分?
答案是只调整预测器,把编码器和奖励头都冻住不动。
这个决定背后的逻辑其实很直白。摄像头看到的画面,"翻译"成状态向量这件事,跟物理规律变没变没什么关系,一个方块看起来还是那个方块,不会因为摩擦力变了就在图像上变了样。而奖励头负责判断"这个状态好不好",这跟任务目标有关,任务目标也没有变,还是要把方块推到指定位置,还是要让机械臂碰到目标点。
真正跟物理规律绑定的,只有预测器那部分:给定一个动作,世界会怎么反应。这是唯一需要跟着环境变化去调整的东西。
测试时训练*:Test-Time Training,简称TTT,指模型在部署阶段(也就是实际使用阶段),利用它遇到的真实数据,边用边学,持续更新自己的一种技术路线。
这里有个很值得琢磨的设计巧思:整个学习过程完全不需要知道"目标画面长什么样",也不需要环境告诉它"这次动作得了多少分"。它靠的是最朴素的信号:机器人执行了一个动作,然后观察到了下一个真实画面。预测器把这个真实画面(经过编码器处理后的状态)当作标准答案,去对照自己之前的猜测,猜错了就调整参数。
这跟你学骑自行车很像。没有人在旁边喊"你骑得几分",你也不需要先知道终点线长什么样。你只需要感受到"我这样转车把,结果车子倒向了另一边",然后下次换个角度试试。错误本身就是信号,不需要外部打分。如果JEPA-TTT非要等一个外部奖励信号才能学习,那现实中很多场景根本用不上它,因为真实世界里哪有人实时给机器人打分呢。
密集回放:一个看似简单却至关重要的细节
接下来要讲的这个设计,是整篇论文里我觉得最容易被忽略、却影响很大的一个环节,叫密集回放。
密集回放*:Dense Replay,指在构造训练样本时,从每一个时间点都切出一个预测窗口,而不是只在动作块的边界处切,这样能获得远多于传统方法的训练样本,并把这些样本存进一个不断增长的缓冲区,训练时随机抽样来用。
这里需要先解释一个背景概念。
动作块*:机器人每隔几个原始动作(论文里是5个)才拍一次照片,这几个动作被打包成一个"块",跟拍到的照片对应起来,这样处理数据更高效。
传统的做法是,只在每个动作块结束的边界处,切出一个训练样本。但这样做浪费了很多信息,一个动作块内部明明还有好几个时间点,这些中间状态全被跳过了。密集回放的做法是,把每一个可能的时间偏移都当作一个独立的训练窗口切出来,相当于把样本数量扩大了好几倍。
这就像你平时拍延时摄影,如果只在每隔5分钟按一次快门,你能看到的变化轨迹是粗糙的。但如果每隔1秒就按一次,哪怕后期你可能用不上所有照片,至少你捕捉到了更多细节,后续想分析某个瞬间的变化时,素材足够丰富。如果一开始就按5分钟一张拍,后面哪怕你想研究第3分钟发生了什么,素材根本不存在,这个损失是不可逆的。
论文做了四组对照实验,来验证密集回放到底值不值。第一组叫稀疏流,就是老老实实按动作块边界切样本,用一次就扔。第二组叫计算量匹配的稀疏流,样本数量不变,但靠反复重复使用同一批样本,把训练次数拉到跟密集方法一样多,专门用来验证"是不是训练次数越多就越好"。第三组叫密集流,把所有密集窗口都切出来,按时间顺序过一遍,每个只用一次。第四组才是真正的密集回放,把所有密集窗口存进一个缓冲区,训练时随机抽。
结果显示,四组方法的最优分数均值分别是0.497、0.625、0.671和0.678。从第一组到第二组的提升,说明单纯多训练几次是有用的。从第二组到第三组的提升,说明光靠重复旧样本不够,还得有更丰富的时间覆盖面。从第三组到第四组,提升幅度变小了,但在另一个指标"平均曲线下面积"上,密集回放还是以0.571对0.548明显胜出。这说明把样本存起来反复随机抽取,比起看一遍就丢掉,确实能让学习过程更稳。
这套实验设计本身也挺讲究,它把"多训练"、"覆盖更多时间点"、"重复利用样本"这三件事拆开单独验证,不是笼统地说"我们的方法更好",而是一步步证明每个环节分别值多少。
持久记忆:学到的东西不会随着一局游戏结束就清零
另一个关键设计是,机器人学到的修正不会因为一局任务结束就被抹掉。
这跟很多强化学习场景里的常规做法不一样。通常一个任务跑完一局,系统会重新初始化,下一局从头开始。但JEPA-TTT反其道而行,预测器的参数、优化器的状态、还有存着历史数据的缓冲区,这三样东西全都会原封不动地带到下一局任务里。
论文专门做了一个对照实验来验证这件事到底有没有用。实验设置是,两组都只用当前这一局任务内部的数据来训练,区别只在于:一组把学到的东西延续到下一局,另一组每局结束就把预测器打回原始状态,重新开始。
结果相当惊人,持续学习的那组,最优分数均值是0.729,而每局重置的那组只有0.289。差了整整0.44,几乎是三倍的差距。
这个结果其实很好理解,如果每打完一局游戏就把记忆清零,那机器人每次面对新环境都得重新从零摸索一遍。这就像你每天上班都要重新适应一遍新买的那辆车,方向盘的手感、油门的灵敏度,全都要重新摸索,永远学不会。而持久记忆意味着,机器人每一局积累的经验都在往前滚雪球,摸索一次就够了,之后越用越顺手。
这也从侧面回应了论文标题里"Persistent"(持久)这个词的分量。不是说这项技术有多复杂,而是它选择了一种跟常规做法不同的记忆策略,而这个策略恰恰是让适应效果真正落地的关键。
实验结果:八种物理规律的变化,全部都能适应
论文设计了四个连续控制任务的模拟环境,分别是推方块任务PushT、双房间导航任务Two-Room、机械臂任务Reacher,还有立方体抓取任务OGB-Cube。每个任务都设计了两种动态变化,一共凑成八种考验场景。
这些变化五花八门,比如把机器人下达的指令方向整体旋转90度,或者只让方块跟物体接触时的反应旋转90度;比如让旋转角度随着在房间里的位置变化而变化,形成一种波浪状的扰动场;比如让机械臂的动作延迟一步才生效,还顺带把三个坐标轴的指令互相调换。
| 测试场景 | 冻结模型最优分数 | JEPA-TTT最优分数 | 提升幅度 |
|---|---|---|---|
| 推方块,指令旋转 | 0.080 | **0.490** | 513% |
| 推方块,接触旋转 | 0.127 | **0.619** | 388% |
| 双房间,波浪场 | 0.557 | **0.799** | 43% |
| 双房间,网格场 | 0.211 | **0.799** | 279% |
| 机械臂,相位场 | 0.367 | **0.758** | 107% |
| 机械臂,谐波场 | 0.369 | **0.688** | 86% |
| 立方体,二次交叉 | 0.257 | **0.628** | 144% |
| 立方体,延迟循环 | 0.172 | **0.643** | 274% |
八个场景全部提升,平均提升幅度达到153%。更重要的是,这个提升背后的机制是可以验证的:研究者专门测量了预测器对未来状态的猜测误差,结果显示适应后的误差平均下降了83%,最高的一个场景(双房间网格场)误差降幅达到98.52%。这说明不是运气好蒙对了,而是预测能力本身真的变准了。
论文还对比了另外两种思路。一种叫PPO-TTT,让一个强化学习策略在同样的500局交互里学习,但它能偷看环境给出的真实奖励分数,这是JEPA-TTT本来不具备的"特权"。另一种叫AdaJEPA,是另一个同期的研究,思路也是边用边调JEPA世界模型,但它每一局结束就清空记忆,还需要一张目标画面作为参照。结果显示,即便对手享有这些额外的信息优势,JEPA-TTT依然在全部八个场景、两个评价指标上都胜出。
论文里有个细节挺有意思,PPO-TTT在双房间波浪场这个场景里,三次独立实验的结果差异巨大,有一次机器人一直被困在第一个房间走不出去,有一次大概摸索了350局才找到门,还有一次50局以内就找到了。这说明依赖奖励信号去探索,运气成分很重,而JEPA-TTT靠预测误差驱动的学习,表现要稳定得多。
局限:这套方法目前还做不到什么
论文作者挺坦诚地列出了两条边界。
第一条,这篇论文研究的是一次性的、固定不变的动态偏移,整个测试过程里物理规律变了就不会再变回去,画面怎么看、任务目标是什么、动作接口长什么样,这些统统不变。如果视觉输入或者任务目标本身也在变,这套方法目前没有对策,因为编码器和奖励头是被刻意冻住的,这是设计上的取舍,不是疏忽。
第二条,如果机器人要连续经历好几次不同的动态变化,甚至中途又变回最初的训练环境,会发生什么?论文没有研究这个问题。持续不断的参数更新有没有可能让机器人"忘记"之前学过的东西,这在机器学习里有个专门的说法叫灾难性遗忘,论文明确表示这块没有测量过。
这两条限制其实指向同一个方向:这篇论文证明的是"单次适应"这件事能做到,但"持续适应多种环境、还不丢掉旧本领"这件更难的事,还没人验证过。
Q&A
Q1：JEPA-TTT是什么？
A：JEPA-TTT是本田研究所和约翰斯·霍普金斯大学提出的一种方法,让机器人在实际部署运行时,通过观察自己执行动作后发生的真实变化,持续修正内部的世界预测模型,从而适应训练阶段没见过的新物理规律,整个过程不需要外部奖励信号或目标画面。
Q2：JEPA-TTT为什么只调整预测器,不调整整个模型？
A：因为视觉编码器负责把画面压缩成状态表示,这跟物理规律是否变化无关;奖励头负责判断状态好坏,这跟任务目标是否变化有关。只有预测器负责猜测"动作会导致什么结果",这才是跟环境物理规律直接绑定的部分,所以只需要调整它。
Q3：密集回放对JEPA-TTT的效果提升有多大？
A：相比传统只在动作块边界切样本的方法,密集回放把最优规划分数均值从0.497提升到0.678,同时让学习过程更稳定,这是因为它从每个时间点都切出训练样本,再存进缓冲区随机抽样训练,大幅增加了可用的训练信号。
