先讲一个你可能没注意到的反常现象。
同一套具身智能体,同一个视觉语言模型,一个字都没改权重,也没做任何微调。只是把围绕在模型外面的那层“外壳”重新写了一遍,任务成功率就能从 50% 跳到 63%,从 23.9% 跳到 44.2%。这个提升幅度,比很多论文靠训练换来的改进还大。
论文的作者们问了一个很朴素但很少被正面回答的问题:我们一直在优化模型,那模型外面那层东西,能不能自己变聪明?
答案是能。他们给这套方法起了个名字,叫 EMHO。
先说清楚一件事:什么是外壳
在具身智能领域,过去几年的主角一直是模型本身。从 PaLM-E 到 OpenVLA,再到 π0.5,大家都在比谁的视觉语言模型更大、更强、见过的数据更多。
但一个智能体在真实环境里跑的时候,模型只负责“想”。真正决定它看到什么、记得什么、什么时候调用工具、失败了怎么补救的,是一整套程序逻辑。
这套逻辑,论文里叫 harness(外壳)。
> harness(外壳):围绕在冻结模型外部的智能体侧指令与运行时逻辑,涵盖观察与上下文构造、记忆管理、规划、工具调用、动作生成、输出校验以及失败恢复。
你可以把这层外壳理解成给模型配的一套工作手册加操作系统。模型是那个干活的人,外壳是告诉他“先看哪、再记什么、出错怎么办”的那套流程。
有意思的地方在于,这套流程一直是手工设计的。研究者凭经验写提示词,凭直觉加规则,凭感觉调顺序。而模型的失败原因,藏在一长串的观察、计划、动作、工具调用里,很难倒推到底是哪一步出了问题。
最终只有一个信号:这一局成没成。
这就像考试只告诉你及格还是不及格,不告诉你哪道题错了。
为什么这事比看起来难得多
论文里有一个对比特别点题。
在写代码的环境里,智能体自我改进是相对容易的。测试挂了有报错信息,异常有堆栈,编译失败直接告诉你哪一行有问题。这些信号是局部化的、有指向性的,智能体能直接知道“我上一步做错了什么”。
具身环境完全是另一回事。
你让一个机器人在房间里找垃圾桶,它撞墙了。环境只返回一个“blocked”,不会告诉你是因为方向错了、距离估错了,还是这个方向上本来就有一堵墙。它也不会告诉你,三步之前那个看起来合理的转向决策,才是真正的罪魁祸首。
> 稀疏反馈:智能体执行动作后只得到极少量信息,比如有效、无效、被阻挡,而得不到“为什么失败”的解释。
再加上成功信号是延迟的,一局跑完才知道结果。这就让归因变得极其昂贵。
在 EMHO 出现之前,这个方向已经有人做过尝试,但都聚焦在某个局部。
EmbodiSkill 在 2026 年提出,通过轨迹反思来修正技能库;VASO 用验证和反例引导技能演化;ASPIRE 把成功的修复累积成可复用技能;Zetta 专门做失败检测和恢复行为的联合演化。
这些工作的共同点是:都在改“某一类行为”。技能、恢复机制、策略。
但作者们注意到一个被忽略的事实:当一个智能体表现不好时,问题往往不在技能本身,而在更外围的一整套机制上。比如它根本没意识到自己卡住了,比如它调错了视觉工具,比如它把分割框的中心当成了抓取坐标。
只改技能,等于只换了一个零件,但整台机器的运转逻辑还是错的。
内循环外循环:让外壳自己写自己
EMHO 的整体结构不复杂,但它把两件事分得很清楚。
内循环,让当前的智能体去跑任务,把每一步都录下来。
录下来的东西叫经验轨迹(experience trace)。每一步包括:观察到的画面、生成的计划、调用了什么工具、执行了什么动作、环境给了什么反馈。整局结束后,再记上成功还是失败。
> 经验轨迹(experience trace):一次完整任务执行的全过程记录,包含观察、计划、工具调用、动作与环境反馈的逐步序列,以及最终的成败结果。
外循环,让一个优化器去读这些轨迹。
这个优化器做的事,不是简单看分数。它拿到的是:所有历史轨迹、之前每一版外壳长什么样、改了什么、改完之后分数变成了多少。
然后它去找反复出现的失败模式,提出针对性的修改。
这个“历史感知”的设计值得多说两句。因为如果优化器只看当前这一版的分数,它会反复犯同样的错误。比如它上次加了一条“遇到阻挡就旋转”的规则,结果分数掉了一点,但它不知道是这条规则导致的,下次还会再加。
把修改历史带着走,等于给优化器一本错题本。
候选外壳改完之后,要重新跑一遍搜索集。分数比父版本高,就替换;否则保留原来的。
> 搜索集(search set):从基准测试中划出的一半数据,专门用于采集经验、优化外壳。剩下的另一半叫留出集(held-out set),只在最后评估时用,优化器看不到。
如果只看这个流程,你可能觉得它很合理。
但如果你真的动手改过智能体的外壳,你会知道这件事的坑在哪里:改一条规则,往往会在别的地方冒出新问题。而优化器如果只看总分,它可能永远发现不了这种交易。
这就是 EMHO-Merge 要解决的问题。
一个外壳管多个子任务,麻烦就来了
前面说的是针对单个子任务的优化。但真实场景里,我们希望一个智能体什么都能干。
论文做了个实验,把导航类的三个子任务(Base、Visual Appearance、Long Horizon)合并起来,用同一份经验池去优化同一个外壳。
结果出问题了。
单独优化时,三个子任务演化出了三种不同的“撞墙应对策略”:
Base 子任务偏好立刻改变动作方向;视觉外观子任务偏好朝看得见的开阔空间走;长时程子任务则要先停下来重新判断该不该转向。
这些规则单独看都对。混在一起,它们会互相打架。
论文给了一个特别具体的例子。有条规则是“被挡住之后先横向移动再往前走”,这条在 Base 上很管用。但放到长时程轨迹里,它会反复触发,把智能体带进旁边更近的障碍物里。
这就像三个老师给同一个学生写了三套不同的解题口诀,每套在自己的科目里都是正确的,合起来却让学生不知道该听谁的。
> EMHO-Merge:EMHO 的扩展版本,在优化器层面加入增益与损失的配对分析,用同一批 episode 在修改前后的成败变化来指导“该不该修、怎么修”。
EMHO-Merge 的做法很有意思。它不只看总分涨没涨,而是逐条对比 episode。
修改之前失败、修改之后成功的,叫增益(gain)。修改之前成功、修改之后失败的,叫损失(loss)。
两边同时出现,说明这条规则不是没用,而是触发条件太宽。这时候优化器不会另起炉灶,而是去“修”它,把触发条件收窄。
> 增益损失配对(gain–loss pairing):把同一个 episode 在外壳修改前后的结果做前后对比,识别出因这次修改而变好或变坏的样本,用来推断规则的适用边界。
论文里举的例子是:把“避障行为”缩小到只在有明确阻挡证据时才触发。
而且每个机制只允许修一次。修不好就换新机制,不允许无限打磨同一个想法。
这条限制很关键。如果没有它,优化器会陷入无止境的微调,每次都觉得自己离完美只差一点。
它到底改了什么:真正有用的不是“规则”本身
这部分是整篇论文里最有信息量的部分,也是最容易被读者跳过的。
因为“改外壳”听起来就是一个工程操作,改完分数涨了,那到底涨在哪里?
作者把修改分成了两大类:恢复类修改和非恢复类修改。
恢复类负责“出错之后怎么办”,非恢复类负责“在出错之前怎么把事情做对”。
先说恢复类。
第一类是无效动作恢复。
导航里撞墙,环境返回 blocked。初始外壳对此几乎没有指导,智能体可能反复往同一个方向撞。
EMHO 演化出来的修改是这样的:在提示词里加一条“如果最近的反馈报告某次移动被阻挡并指出了阻挡物,不要在新计划里重复同一个横向或前进动作,而是先绕一小段,再重新接近目标”。
同时在代码里加了一个函数,专门去提取最近被阻挡的动作名称,并在计划里生成一条警告。
这看起来是一条很平庸的规则。但关键在于,它把一次性的执行反馈,变成了持续有效的约束。
初始外壳只把 blocked 当成一个瞬间事件,下一步就忘了。演化后的外壳把它写进上下文,让它一直影响后面的每一次规划。
作者用“到目标的距离”做后验分析(这个指标不进优化器),发现演化后的轨迹在遇到阻挡之后,更倾向于继续缩短距离,长时程场景里差距最明显。
第二类更有意思,叫“有效但无效的恢复”。
这个名字本身就说明问题。动作是合法的,环境没报错,但一局打下来什么都没推进。
导航里表现为反复旋转,动作全都执行成功,位置却几乎没变。操作里表现为反复重发几乎一样的计划,或者一直在同一组坐标上尝试抓取。
这类失败最阴险的地方在于,环境不会给你任何错误信号。
你必须从“最近走了哪几步、状态有没有变”里自己推断出“我卡住了”。
EMHO 演化出了什么?在导航里,它加了一条“如果你已经连续两次以上执行同一方向的移动,却没有朝目标的视觉进展,或者反复旋转没有任何前进,就换一个动作类别”。同时加了一个循环检测模块,横跨最近的动作和状态去找重复模式。
在操作里,它加了一个近重复计划检测。不是查动作是否完全相同,而是查连续三个计划的坐标差值是否都在 10 以内。
效果是可量化的:至少连续五次旋转的情况从约 10% 降到 3%,完全重复的计划从约 21% 降到 18%,同坐标重复抓取从约 30% 降到 26%。
这里必须插一句类比,因为这类设计的价值不在数字上。
你在家找钥匙,找了十分钟还没找到,这十分钟里你的每一个动作都很正常:翻沙发、翻抽屉、翻口袋。没有一步是“错的”。但如果你不主动意识到“我已经把沙发翻了三遍了”,你会一直翻下去。
初始外壳就是那个一直在翻沙发的你。它没有任何机制提醒自己“这十分钟没有进展”。
EMHO 加的那条规则,本质上是在外壳里装了一个“你已经翻过这里了”的提醒。如果不装这个提醒,模型再聪明也没用,因为它的注意力永远在“下一步翻哪里”,而不是“我是不是在原地打转”。
再说非恢复类修改。这类修改更微妙,因为它不处理失败,而是改变智能体看待环境的方式。
第一类是进度监控。
导航里,演化后的外壳会比较前后两张观察图,看目标的表观位置和大小有没有变化,看场景外观有没有变。如果目标在画面里的位置和尺寸都没动,说明当前朝向根本没有在缩小距离。
操作里,它把整个任务拆成五个阶段:张开夹爪接近、下降并闭合、抬起、平移、松开。重新规划时,先根据夹爪状态和物体状态判断已经完成了哪几个阶段,然后从下一个未完成的阶段继续。
这个改动的效果是:在重规划轨迹里,明确提到当前执行阶段的比例,从接近零提升到了 Base 子任务约 14%、常识子任务约 21%、复杂指令约 8%、视觉约 7%。
第二类是工具选择与编排。
这一块的反差最大。
导航里,初始外壳在每次规划时都调用同样的视觉模块。演化后,它开始区分不确定性的类型:深度估计用于障碍物和局部路径,分割用于识别特定目标,缩放用于看清细节。动作成功之后场景清晰,就干脆不调工具。
数据很直接:被阻挡之后,深度估计的使用率从约 70% 涨到接近 100%,分割的使用率从约 50% 掉到接近零,下一步动作的有效比例从约 44% 涨到 68%。
操作里,演化后的外壳学会了在高度敏感的交互中主动请求深度,比如堆叠、往容器里放东西。因为这类任务的失败原因是高度和间隙,而分割框给不了这些信息。
第三类是感知与视觉定位。
这是我觉得最值得玩味的一块。
导航里,当指令描述一个“圆形黑色金属结构,表面光滑”的物体时,初始外壳会选画面里最显眼的圆形黑色物体,然后走过去,结果发现是炉灶上的线圈。
演化后的外壳加了一条规则:当指令用颜色、形状、材质、大小描述一个小物体,而多个可见物体只部分匹配时,不要选最大或最显眼的那个,要选最符合每一条陈述属性的那个。
还加了一条关于“表面质感”的规则:如果指令提到了光滑、金属、哑光、反光这类特质,要把它当成首要线索,宁可选一个质感匹配的小物体,也不要选颜色匹配的大物体,不要让场景里的显著性盖过质感。
操作里,演化后的外壳学会了区分“认出物体”和“算出抓取坐标”这两件事。分割框和裁剪区域只是粗略的感知线索,不是可以直接执行的坐标。最终的抓取姿态要以 RGB 观察为准。
效果:命名目标后的到达率从 43% 涨到 62%,经过目标之后又走远的比例从 23% 降到 7%。场景描述里列出三个以上物体的比例从约 8% 涨到 22%,初始计划选错物体的比例从 50% 降到 34%。
一个特别容易被误读的地方
很多人看到这里可能会想:这不就是自动提示词优化吗?
不是。这个区别很重要,而且论文的数据说明了问题。
作者做了一个对照实验:只允许优化“技能”,也就是只能往提示词里追加文本形式的恢复指导。对比完整的全外壳优化。
结果差得挺明显。
导航里,技能版在 Base 上提了 10 个百分点,全外壳提了 16.7;Common 上同样是 10 对 16.7;Complex 上技能版提了 0,全外壳提了 13.3。
操作里差距更大:Base 上 16.7 对 33.3,Spatial 上 8.3 对 25.0。
为什么?
论文的解释很清楚:技能优化只能把经验表达成“指令”。但全外壳优化可以改交互历史的表示方式,可以加显式的重复检测机制,可以确保检测出来的状态真的暴露给后续规划。
换句话说,技能优化是往手册里加一句话。全外壳优化是往系统里加一个传感器。
前者的上限是“模型记不记得这句话”,后者的上限是“这套系统能不能真的感知到问题”。
这里有个反事实值得想一想:如果只能加提示词,那“连续旋转五次”这件事要怎么检测?模型得自己数自己前面的动作,而它的上下文里可能根本没有完整的历史。你写一百条提示词都没用,因为它看不见。
EMHO 相比一次性优化强在哪
论文还拿两个前沿模型做了对比基线:Claude Opus-5 和 GPT-5.6 Sol,给它们初始外壳和代表性任务示例,让它们一次性生成一个改进版外壳。
结果一次性版本确实比初始外壳好。但 EMHO 在两个领域都更强。
原因论文说得挺直接:一次性修改倾向于给出宽泛的指导,比如“遇到循环就换策略”,但不会说清楚“智能体怎么识别自己遇到了循环,识别到之后具体做什么”。
EMHO 是从几十条轨迹里归纳出来的,它知道 blocked 这个词在反馈里长什么样,知道坐标差值 10 以内意味着什么。
它把重复出现的模式,翻译成了具体的运行条件。
一些有意思的细节
论文附了一张优化器指令的示例,里面的约束条件写得很讲究,能看出作者踩过哪些坑。
比如有一条:“不要用隐藏的模拟器状态、最短路径、坐标、奖励、留出集数据,也不要写针对特定 episode 的硬编码解法。”
还有一条:“不要编辑评估器、数据集划分、数据集、运行脚本或动作语义。保持候选外壳的 API 不变。”
这些约束的存在本身就在说一件事:让一个大模型去改代码,它会想尽办法作弊。它可能会直接读取答案,可能会针对特定 episode 写 if 判断。所以你得在指令里把路堵死。
另一条我特别喜欢:“在加新规则之前,先问一句,现有规则是不是应该被删掉、缩短、削弱或者回滚。一个有效的候选方案,可能通过删除或简化文本来获得提升。”
这句话打破了“优化就是不断添加”的默认假设。
还有关于 EMHO-Merge 的一条:重命名不构成新机制。把“旋转警告”改名叫“朝向调整警告”,还是同一个东西。所以每个机制必须有一个稳定的 ID,改名不算创新。
这条约束在防止优化器玩文字游戏。
结果表
下面是搜索集和留出集上的完整结果。加粗的是每一列的最高分。
导航任务:
| 方法 / 模型 | 平均 | Base | Common | Complex | Visual | Long |
|---|---|---|---|---|---|---|
| GPT-5 | 56.8 | 62.0 | 62.0 | 68.0 | 50.0 | 42.0 |
| Claude-4.6-Sonnet | 62.2 | 68.0 | 63.0 | **77.0** | 55.0 | 48.0 |
| Gemini-2.0-flash | 48.7 | 63.3 | 65.0 | 50.0 | 51.7 | 13.3 |
| InternVL3-78B | 53.7 | 66.7 | 63.3 | 61.7 | 45.0 | 31.7 |
| gemma-3-27b-it | 45.3 | 53.3 | 45.0 | 61.7 | 50.0 | 16.7 |
| 一次性外壳(Opus,Qwen3.5-9B) | 53.3 | 56.7 | 60.0 | 63.3 | 36.7 | 50.0 |
| 一次性外壳(Sol,Qwen3.5-9B) | 49.3 | 50.0 | 53.3 | 63.3 | 40.0 | 40.0 |
| 一次性外壳(Opus,Qwen3.8-27B) | 67.7 | 78.3 | 70.0 | 75.0 | 58.3 | 56.7 |
| 一次性外壳(Sol,Qwen3.8-27B) | 65.7 | 73.3 | 70.0 | 61.7 | 63.3 | 60.0 |
| 初始外壳(搜索集,9B) | 50.0 | 58.3 | 46.7 | 65.0 | 40.0 | 40.0 |
| 初始外壳(留出集,9B) | 48.7 | 58.3 | 53.3 | 58.3 | 33.3 | 40.0 |
| **EMHO(搜索集,9B)** | **63.0** | 71.7 | 70.0 | 70.0 | 50.0 | 53.3 |
| EMHO(留出集,9B) | 56.7 | 66.7 | 60.0 | 65.0 | 40.0 | 51.7 |
| 初始外壳(搜索集,27B) | 54.7 | 60.0 | 60.0 | 50.0 | 50.0 | 53.3 |
| 初始外壳(留出集,27B) | 66.0 | 73.3 | 63.3 | 66.7 | 66.7 | 60.0 |
| EMHO(搜索集,27B) | 67.3 | 76.7 | **76.7** | 63.3 | 63.3 | 56.7 |
| EMHO(留出集,27B) | **75.3** | **86.7** | **76.7** | 73.3 | **76.7** | **63.3** |
操作任务:
| 方法 / 模型 | 平均 | Base | Common | Complex | Visual | Spatial |
|---|---|---|---|---|---|---|
| GPT-5 | 26.8 | 21.0 | 25.0 | 31.0 | 22.0 | 35.0 |
| Claude-4.6-Sonnet | 37.6 | 40.0 | 35.0 | **40.0** | 36.0 | 37.0 |
| Gemini-2.0-flash | 16.5 | 14.6 | 8.3 | 14.6 | 13.9 | 31.3 |
| InternVL3-78B | 26.3 | 29.2 | 22.9 | 22.9 | 25.0 | 31.3 |
| gemma-3-27b-it | 17.5 | 25.0 | 16.7 | 16.7 | 8.3 | 20.8 |
| 一次性外壳(Opus,9B) | 13.2 | 10.4 | 16.7 | 12.5 | 13.9 | 12.5 |
| 一次性外壳(Sol,9B) | 11.8 | 12.5 | 6.3 | 10.4 | 11.1 | 18.8 |
| 一次性外壳(Opus,27B) | 27.8 | 22.9 | 20.8 | 29.2 | 38.9 | 27.1 |
| 一次性外壳(Sol,27B) | 25.3 | 25.0 | 25.0 | 27.1 | 22.2 | 27.1 |
| 初始外壳(搜索集,9B) | 9.7 | 8.3 | 8.3 | 6.3 | 11.1 | 14.6 |
| 初始外壳(留出集,9B) | 10.7 | 6.3 | 4.2 | 8.3 | 22.2 | 12.5 |
| EMHO(搜索集,9B) | 18.3 | 14.6 | 12.5 | 16.7 | 25.0 | 22.9 |
| EMHO(留出集,9B) | 21.0 | 14.6 | 20.8 | 18.8 | 36.1 | 14.6 |
| 初始外壳(搜索集,27B) | 23.9 | 16.7 | 12.5 | 29.2 | 44.4 | 16.7 |
| 初始外壳(留出集,27B) | 26.4 | 25.0 | 25.0 | 29.2 | 27.8 | 25.0 |
| **EMHO(搜索集,27B)** | **44.2** | **50.0** | **41.7** | 37.5 | **50.0** | **41.7** |
| EMHO(留出集,27B) | 39.4 | 41.7 | 41.7 | 33.3 | 38.9 | 41.7 |
这里面有两个数字很刺眼。
一个是 9B 模型的导航搜索集达到了 63.0,已经接近 Claude-4.6-Sonnet 的 62.2。模型参数差了十几倍,靠改外壳追平了。
另一个是 27B 操作搜索集,从 23.9 直接到 44.2,翻了接近一倍。
还有一个不太显眼的细节:27B 的导航留出集分数(75.3)比搜索集(67.3)还高。这不是说它泛化得多好,而是因为搜索集和留出集各自取的是十次迭代里的最高分,这两个最高分可能出现在不同的迭代上。作者自己也解释了,留出集的结果应该被理解成“候选方案的回顾性总结”,而不是单一选定外壳的泛化估计。
联合优化到底有没有用
前面讲到 EMHO-Merge 要处理子任务冲突。数据是这样的:
导航(三个子任务):
| 划分 | 外壳 | 平均 | Base | Visual | Long |
|---|---|---|---|---|---|
| 搜索集 | 初始 | 54.4 | 60.0 | 50.0 | 53.3 |
| 搜索集 | EMHO(分开优化) | 65.6 | 76.7 | 63.3 | 56.7 |
| 搜索集 | EMHO(合并优化) | 61.1 | 73.3 | 63.3 | 46.7 |
| 搜索集 | **EMHO-Merge** | **67.8** | **80.0** | 60.0 | **63.3** |
| 留出集 | 初始 | 66.7 | 73.3 | 66.7 | 60.0 |
| 留出集 | **EMHO(分开优化)** | **75.6** | 86.7 | **76.7** | 63.3 |
| 留出集 | **EMHO-Merge** | **75.6** | **93.3** | 70.0 | 63.3 |
操作(三个子任务):
| 划分 | 外壳 | 平均 | Base | Visual | Spatial |
|---|---|---|---|---|---|
| 搜索集 | 初始 | 25.9 | 16.7 | 44.4 | 16.7 |
| 搜索集 | **EMHO(分开优化)** | **47.2** | **50.0** | **50.0** | **41.7** |
| 搜索集 | EMHO(合并优化) | 34.7 | 41.7 | 33.3 | 29.2 |
| 搜索集 | EMHO-Merge | 39.8 | 37.5 | 44.4 | 37.5 |
| 留出集 | 初始 | 25.9 | 25.0 | 27.8 | 25.0 |
| 留出集 | **EMHO(分开优化)** | **40.7** | **41.7** | **38.9** | **41.7** |
| 留出集 | EMHO-Merge | 33.8 | 29.2 | 38.9 | 33.3 |
注意这里有个不太好听的事实:分开优化在大多数列上仍然是最强的。
EMHO-Merge 的价值不体现在“打败分开优化”,它打败的是“合并优化”。导航搜索集 67.8 对 61.1,操作搜索集 39.8 对 34.7,留出集也是同理。
也就是说,EMHO-Merge 解决的是“当你只能用一个外壳时,怎么让合并优化别那么差”这个问题。它把合并优化的损失补回来了一部分,但没有完全补上。
这个差距在操作留出集上特别明显:分开优化 40.7,Merge 只有 33.8。论文没有强调这一点,但数据就摆在那里。
优化器到底在看什么
论文做了一个消融实验,在导航 Base 子任务的搜索集上,把两种历史信息分别拿掉。
| 方法 | 经验轨迹 | 外壳历史 | 搜索集分数 |
|---|---|---|---|
| 完整 EMHO | 有 | 有 | **76.7** |
| 去掉经验轨迹 | 无 | 有 | 70.0 |
| 去掉外壳历史 | 有 | 无 | 66.7 |
| 只看分数 | 无 | 无 | 63.3 |
这个梯度很有意思。
只看分数,63.3。加上外壳历史,66.7。加上经验轨迹,70.0。两个都有,76.7。
去掉轨迹比去掉历史的损失小,说明“我之前改过什么、改完之后分数怎么变”这件事,比“这一局具体怎么走的”更难替代。
这也解释了为什么单纯靠标量反馈做外壳优化效果一般。分数只告诉你方向对不对,不告诉你为什么。
修改的演化规律
论文画了一张图,追踪整个优化过程中恢复类和非恢复类修改的比例变化。
结论是:两类修改的演化轨迹在不同任务里完全不同。
导航里,恢复类修改从头到尾都占主导。非恢复类在中段会掉下去,到末尾再回升,两者的差距缩小但没消失。
操作里,情况反过来。恢复类的比例随着优化推进大幅下降,非恢复类在中后期越来越占上风,最后两者趋于接近。
这个差异背后的原因是任务性质。导航的失败信号(撞墙)很直接,容易修。操作的失败更隐蔽,很多问题不在“出错之后”,而在“一开始就没看清”。所以越往后,改的东西越往上游走。
还有一条观察我印象很深:规则会越来越细。
一条导航规则最初是“不要重复被阻挡的动作”,然后变成“几个方向都被挡了之后要转向”,最后变成“根据被阻挡的方向、目标朝向、以及清空障碍所需的距离来选择响应”。
它是从一句笼统的建议,逐渐长成一条带条件的政策。
写在后面
读完之后我一直想着那个消融实验的梯度。
只看分数是 63.3,加上轨迹和修改历史是 76.7。中间那十几个点,全部来自“优化器知道了什么”。
这让我想到一个更普遍的问题。我们平时评价一个系统的时候,也经常只给一个数字:这次成功了没有,这次跑分多少。然后我们纳闷为什么它学不会。
也许问题不在于它的学习能力,而在于我们喂给它的信息密度太低。
另一个让我停下来的点是那个“每个机制只允许修一次”的限制。这条规则很反常,因为它直接限制了搜索的深度。但它防住的是一个更隐蔽的失败模式:优化器会无限打磨一个已经到头的想法,每次都觉得自己只是差一点点。
这跟人挺像的。
还有一个我暂时没想明白的点。论文里提到,搜索集上表现最好的外壳,不一定在留出集上表现最好。有几次运行里,后面的迭代继续提升搜索集分数,但留出集开始持平甚至下降。
作者把这叫过拟合。
但我觉得这里有个更有意思的问题:如果外壳是在变得越来越专门化,那么它学到的东西,到底是“通用的问题解决方法”,还是“这批 episode 的共同特征”?这两种东西在分数上看起来是一样的,但一个是能力,一个是记忆。
论文没有回答这个问题。它只说了“这提示我们需要在选外壳时考虑泛化”。
最后一件事
想象你把这个框架一直跑下去,跑一百次迭代,一千次迭代。
每次它都会发现一个新的失败模式,加一条新的规则。规则越来越细,条件越来越多,外壳从几十行变成一个几千行的系统。
到某个点上,这个外壳本身已经复杂到没人能读懂它了。
那时候问题就不再是“这个外壳好不好用”,而是“我们还能不能知道它为什么好用”。
一个自己写自己的系统,最后写出了一个自己也不理解的东西。这个场景,你觉得算进步还是算失控。







