你有没有想过，为什么人在玩一个新的推箱子游戏时，哪怕第一次输了，也能从失败里记住点什么，下次换一个新地图照样能用上？而现在很多AI智能体，每次面对新任务都像失忆了一样，得从头摸索。
这正是这篇论文想解决的问题。研究者给出的答案有点意思：不是让AI更聪明，而是让AI学会"存图"而不是"存字"。
**核心问题出在哪**
先说一个背景。训练能和环境交互的AI智能体，现在主流做法是强化学习。
**强化学习**：一种让AI通过不断尝试、根据结果好坏调整自己行为的训练方式，类似于通过奖惩来教狗做动作。
智能体在推箱子、走迷宫这类任务里反复试错，成功了就给奖励，参数跟着慢慢调整。问题是，这些成功的经验调整完参数之后就"消失"了，变成了模型内部一堆看不见摸不着的数字。下一次遇到类似但不完全相同的任务，AI还是得重新摸索一遍，哪怕它上次明明已经解决过长得很像的问题。
于是有人想到，干脆把成功的经验显式地存下来，做成一个"技能库"，下次直接拿出来用。这个思路本身不新鲜，但问题出在存储的方式上。
现有的技能库几乎都是用文字记录的。比如一个推箱子的策略，会被写成"玩家在箱子上方，目标在右下方且背后有墙，先向下推，再绕到左边，然后向右推"这样一段话。
**文本中心化技能表示**：把智能体的空间经验（位置关系、动作轨迹）用自然语言描述出来存储，再检索复用的方法。
这种做法有个致命伤。空间布局被压缩成语言的那一刻，大量几何信息就丢了。
这就好比你让一个从没去过某个城市的朋友，单凭你口述的路线去找一家餐厅："往前走大概两百米，左转，再走一个路口，右手边有个红色招牌。"如果城市布局稍微复杂一点，这段描述很容易让人在十字路口选错方向，因为语言没法精确传达"这条路和那条路之间微妙的夹角"或者"那栋楼具体挡住了什么视线"。如果换成直接给他一张标注好路线的地图照片，出错率会大大降低。地图里藏着的空间关系，文字永远转述不全。
智能体面对的网格世界、物体摆放，本质上也是这种"地图型"信息，用语言硬转述，必然有损耗。
**ViSkill怎么解决这个问题**
论文提出的方法叫ViSkill，思路很直接：既然图像比文字保留的空间信息更完整，那就把技能直接做成图像。
研究团队把每一次成功的交互轨迹，渲染成一张"技能卡"，这张卡片里既有带标注的轨迹截图，按时间顺序展示智能体是怎么一步步走到成功的，又有一段用文字总结的策略说明，两者合成在同一张图里，直接作为视觉输入喂给AI。
**视觉原生技能表示**：把成功交互轨迹保留为带标注的图像序列，并附上策略文字说明，合成一张图片作为可复用技能的表示方式，核心在于不把空间信息转成纯文字。
这里有个细节值得多说一句。为什么不只存图，还要附一段文字策略？因为纯图像缺少"这是为什么这么做"的抽象总结，而纯文字又丢空间细节，两者结合才能既保留几何结构，又传递高层次的意图。这就像一本菜谱，光放一张成品照片，你不知道具体火候和顺序；光写文字步骤，你又记不住摆盘和食材的实际样子。图文并茂才是完整的经验传承。
那么问题来了，AI怎么知道该从技能库里拿哪张卡片？这里论文用的是几何相似度匹配，而不是语言匹配。
**技能检索与几何相似度**：根据当前任务的空间布局（比如物体之间的相对位置、距离、障碍分布）去技能库里找最相似的历史技能，而不是靠任务描述的文字去匹配。
为什么要这么做？因为现实里经常出现"同样的指令，不同的地图"的情况。比如同样是"把箱子推到目标点"，不同关卡的墙体位置、箱子初始位置可能完全不同，解法也截然不同。如果靠语言匹配，两个任务的指令文字可能几乎一样，但对应的最优策略南辕北辙。靠几何特征匹配，才能找到真正可复用的经验。
论文里给出了一个检索打分公式，综合考虑几何相似度和这个技能过去的历史成功率，两者加权得出最终得分，分数最高且超过某个门槛的技能才会被取用，否则智能体就自己摸索，不受干扰。
**从失败里也能学到东西：技能引导奖励**
光有技能库还不够，因为传统强化学习只有"成功"才给奖励，失败的轨迹即便部分走对了方向，也拿不到任何正向信号。这其实挺浪费的。
论文设计了一个辅助奖励机制，衡量智能体的实际轨迹和检索到的参考技能之间走了多远的"重合路径"。如果一次尝试虽然最终失败了，但走的路线和技能卡片里记录的策略高度吻合，走到了相当远的地方才偏离，那它也能拿到一部分奖励，而不是颗粒无收。
**技能引导奖励**：根据智能体实际轨迹与检索到的参考技能轨迹的匹配程度，给失败但"走对方向"的尝试发放部分奖励信号的机制。
这个设计的分寸感很重要。奖励的上限被严格限制在小于任务完成的终局奖励之下，这样不会出现"为了蹭部分奖励而不去真正完成任务"的投机行为。
打个比方，这有点像老师批改一道没做完的证明题。如果学生推导到一半思路正确，哪怕最后没得出结论，老师也会给一部分分数，而不是直接判零分。但这部分分数永远不会超过完整正确答案的分数，否则学生就有动机故意只写一半来"稳妥拿分"，不去冒险完成整道题。
**技能怎么进库，又怎么被淘汰**
技能库不能无限制地往里塞东西。如果把每一次成功的轨迹都存进去，库会迅速膨胀，里面充斥着大量重复、质量参差不齐的技能，反而降低检索效率和准确性。
论文设置了两道关卡。第一道是质量关，轨迹长度不能超过某个预算上限，这个上限由一个任务专用的求解器算出最短路径长度来确定，只有足够高效的轨迹才有资格入库。第二道是新颖关，如果当前库里已经有技能和这条新轨迹的配置高度相似，那就不再重复收录。
**质量门与新颖门**：分别用轨迹长度是否接近最优解、以及是否与库中已有技能过于相似，来筛选哪些成功经验值得被存入技能库。
库满了之后，淘汰机制也很讲究，不是简单的先进先出，而是综合考虑一个技能的历史效用和使用频率，效用低且很少被用到的技能会被优先踢出去。这保证了库里留下的，始终是"好用且常用"的那批经验。
这套机制背后其实有个很朴素的道理：经验的价值不在于数量，而在于代表性和实用性。就像一个老医生的病例笔记本，他不会把每一个病人的病历都原样抄一份塞进参考手册，而是挑那些典型、疑难、能举一反三的案例记下来。如果什么都记，手册会变成一堆垃圾，真正需要时反而翻不到关键信息。
**冷启动：别让AI从零开始摸黑走**
刚开始训练的时候，技能库是空的，智能体没有任何经验可以参考，只能瞎子摸象式地探索，这会拖慢整个"积累经验、用经验指导、积累更好的经验"这个正反馈循环启动的速度。
为此论文设计了一个可选的冷启动机制，预先用离线的任务求解器生成一批多样化的示范轨迹，再借助外部大模型把这些轨迹总结成策略描述，通过"最远点采样"的方式挑出覆盖面最广的一批，提前塞进技能库里。
**冷启动初始化**：在正式训练开始前，用外部求解器和模型预先生成一批多样化的种子技能，填充进技能库，以加速早期学习，这些种子技能只影响初期，后续全部由策略自身生成的成功经验来更新。
这就像开一家新餐厅，与其让厨师完全从零开始试菜、靠顾客反馈一点点摸索出受欢迎的菜品，不如先引入几道业内公认的经典菜打底，开业第一天就能有像样的出品，后面再根据自己店里的实际反馈慢慢调整菜单。如果没有这几道"种子菜"，前期生意很可能因为菜品不稳定而流失顾客，错过积累口碑的黄金期。
**实验结果：数字说话**
论文在三个环境里做了测试：Sokoban（推箱子）、FrozenLake（冰湖寻路）、PrimitiveSkill（三维机械臂操作，包括放置、堆叠、开抽屉、对齐、交换五个子任务）。
对比对象相当丰富，既有GPT-5、o3、Gemini 2.5 Pro、Claude 4.5 Sonnet这些顶级闭源模型，也有Qwen2.5-VL系列开源模型，还有专门做强化学习智能体训练的VAGEN和AtlasVA。
结果是，ViSkill拿到了0.89的综合成功率，加上冷启动后提升到0.91，超过了所有参与对比的方法，包括表现最好的AtlasVA（0.87）。具体拆开看，在Sokoban上ViSkill达到0.82（加冷启动0.88），FrozenLake上0.84（加冷启动0.85），PrimitiveSkill五个子任务平均成功率直接拉满到1.00。
有意思的是，GPT-5这样的顶级闭源模型在Sokoban上只有0.70，FrozenLake更只有0.63。这说明空间推理和多轮决策，并不是简单堆模型参数规模就能解决的问题，经验的显式积累和复用，提供了一条参数规模之外的路径。
训练过程的曲线也很说明问题。ViSkill不仅最终成绩更高，收敛速度也明显快于标准PPO算法，在Sokoban上尤其明显，冷启动版本从训练一开始就遥遥领先。
**消融实验：每个部件都在发挥作用**
论文还做了细致的拆解实验，验证每个设计模块是否真的有用。
把视觉技能换成纯文本技能，Sokoban成功率从0.82掉到0.63，FrozenLake从0.84掉到0.59，掉幅都在0.2上下。换成"OCR风格"的技能，也就是把文字渲染成图片但没有保留原始轨迹画面，表现同样明显不如完整的视觉技能卡。这直接验证了开篇那个核心判断：空间信息一旦被压缩成文字，哪怕后来又转回图像形式，损耗已经无法挽回。
去掉技能引导奖励，两个环境各掉0.04到0.05个点，说明这部分信号有用但不是决定性的。去掉策略文字说明，Sokoban掉得更多（0.10个点），说明高层次的策略总结对组合型规划任务帮助更大。而最致命的是去掉策略优化本身，也就是只保留技能检索和入库，但不再训练模型参数，这时候成功率直接腰斩还多，Sokoban从0.82掉到0.29，FrozenLake从0.84掉到0.33。
这个结果其实在提醒我们一件事：技能库本身不会自动让模型变强，真正起作用的是技能库和策略训练之间的那个闭环。模型用技能指导自己做得更好，做得更好的模型又反过来生产更高质量的技能，两者缺一不可，分开来看都只是半成品。
论文还专门验证了这一点，把训练过程中积累的技能库，直接拿去给一个完全没训练过的基础模型用。结果显示，哪怕是没有联合优化过程生成的技能库，也能让基础模型的成功率从0.14提升到0.29到0.33；而用联合优化产生的技能库，效果更好，能提升到0.41和0.39。这说明策略和技能库的协同进化，确实能产出质量更高、更具迁移性的经验。
**一些实用的调参发现**
论文还做了不少超参数敏感性分析，挑几个有意思的说说。
技能卡片的分辨率可以降得很低而不太损失性能。哪怕把图片缩小到原尺寸的20%，ViSkill依然能超过纯文本和OCR方案的表现，同时消耗的token数量大幅减少。这意味着视觉技能的优势不是靠"信息量堆砌"硬撑出来的，而是真正有效的结构性优势，即便压缩掉大量像素细节，关键的空间关系依然保留着。
几何特征提取器也不是非要手工精心设计不可。论文尝试用一个通用的视觉特征提取模型DINOv2替代人工设计的规则特征，结果只比精心调校的人工规则低1到2个百分点。这说明技能检索所需要的空间结构信息，其实相当程度上能从通用视觉表征里自动恢复出来。
质量门槛的设定也有弹性。论文用任务专用求解器计算最优轨迹长度作为筛选标准，但当换成一个简单的固定长度阈值后，Sokoban上的表现反而略有提升，FrozenLake上只小幅下降。这意味着在没有现成求解器的场景里，一个粗暴但合理的固定预算，同样能起到不错的过滤效果。
Q&A
Q1：ViSkill是什么？
A：ViSkill是一种视觉原生技能学习框架，它把AI智能体成功完成任务的经验，做成带标注轨迹和策略说明的合成图片存起来，再通过几何相似度检索复用，取代了传统的纯文字技能描述方式。
Q2：ViSkill相比普通强化学习PPO有什么优势？
A：ViSkill在Sokoban、FrozenLake、PrimitiveSkill三个环境上综合成功率达到0.89，加冷启动后到0.91，训练收敛速度也明显快于标准PPO，因为它能显式复用成功经验而不是只靠参数隐式吸收。
Q3：为什么用图像存储技能比用文字更好？
A：实验显示把技能换成纯文本后成功率大幅下降，Sokoban从0.82跌到0.63，这说明空间布局和物体相对位置这类几何信息，一旦被压缩成语言描述就会严重损失，而图像能完整保留这些细节。
