你有没有遇到过这种情况：新买了个电器，说明书厚厚一本，你翻都不翻就直接开始用，结果三天后发现有个功能一直用错了方法。AI智能体现在也面临同样的处境。
2025年之后，一个叫"技能"的东西开始在AI圈流行起来。简单说，技能就是一份写给AI看的说明书，里面装着完成某类任务所需的专业知识、操作步骤、甚至可以直接运行的脚本。Anthropic公司给Claude Code配了处理PPT文件的技能包，OpenAI的Codex和开源项目OpenClaw也都支持这套玩法。听起来很美好：AI不需要重新训练，只要给它读一份说明书，它就能变成某个领域的半个专家。
但这里有个让人没想到的问题。给AI一份说明书，和AI真的会照着说明书做事，完全是两码事。
这篇来自阿联酋穆罕默德·本·扎耶德人工智能大学的论文做了一件挺扎心的事情：他们测试了现有AI模型翻说明书的习惯，发现主流模型打开相关技能文档的概率只有28%。换句话说，十次任务里有七次，AI压根没看说明书，全靠自己瞎琢磨。这不是AI不聪明，而是没人教过它"遇到任务先去查手册"这个习惯。
**这就是SkillGym这篇论文要解决的核心问题：怎么训练AI主动使用说明书，并且用得对。**
说明书堆成山，但没人能拿来当教材
这事难在哪？互联网上其实已经积累了海量的技能包，覆盖软件工程、金融、医疗、营销等十几个领域，社区贡献的技能文档多达十几万份。听起来资源很充足，直接拿来训练不就行了？
问题是，这些技能包写的时候压根没想过要拿来训练AI。
它们更像是给人类工程师看的操作手册：有步骤说明，有代码脚本，但没有配套的练习题，没有检验答案对不对的裁判系统，也没有一个具体的"任务环境"让AI在里面动手操作。你可以把它想象成图书馆里堆满了各科教材，但一道习题、一张答案卡都没有。学生就算把书翻烂了，也没法知道自己学得对不对。
研究团队把这件事拆成了两个必须同时满足的硬指标。
第一，任务必须是**技能关键的**。意思是，这个任务如果不用说明书里的专业知识，靠瞎猜或者硬试也能勉强做出来，但做出来的效果会明显差一截，用了说明书就能精准命中。如果一个任务不用说明书也能轻松做对，那AI根本没有动力去读它，训练出来的也只是"不看说明书照样能过关"的侥幸心理。
第二，任务结果必须能被**可靠验证**。
验证器：一段自动检查任务是否完成的程序代码，它会去看AI生产出来的文件、运行结果是否符合要求，而不是靠人工一个个去看。
这个验证器不能太严格，否则AI明明做对了、只是方法不一样就被判错；也不能太松，否则AI随便应付一下也能蒙混过关。这个尺度的把握，恰恰是整篇论文工程量最大的地方。
四种出题思路，逼着AI动真格
研究团队没有随便攒一堆任务，而是设计了四种不同的"出题套路"，分别对应四种思维方式。
第一种叫**程序式执行**，就是一连串有先后依赖关系的步骤，前一步的产出是后一步的原料，像多米诺骨牌一样环环相扣。验证器会逐步检查每一环有没有倒对地方。
第二种叫**溯因诊断**。
溯因诊断：给AI一个表面运行正常、但结果不对的系统，让它自己找出背后真正的原因并修复，而不是直接告诉它哪里错了。
这有点像医生看病，病人只说"我这几天老头疼"，但不会直接告诉医生"我昨晚没睡好"。医生得靠症状倒推病因。如果AI只是把报错信息藏起来或者把检查代码删掉蒙混过关，验证器也能识破，因为它检查的是修复后系统的真实行为，而不是表面上有没有报错。
第三种叫**约束满足**。任务里塞进好几条互相打架的硬性要求，满足了这条可能就破坏了那条。比如一份设计稿既要符合品牌色卡，又要保证文字和背景的对比度达标，调色调着调着就可能撞车。AI得像走钢丝一样，找到一个让所有条件同时成立的平衡点。
第四种叫**偏序规划**。任务的各个步骤构成一张网状图，而不是一条直线。有些环节的产出需要被后面好几个步骤同时用到，还不能被中途改动；有些环节则要把两条不同分支的结果合并到一起，必须用统一的口径对齐，比如字段命名、单位、排序方式都得一致。
**这四种结构逼着AI锻炼四种不同的能力：按部就班执行、倒推原因修复问题、在冲突条件里找平衡、理清复杂依赖关系。**
这就好比健身房不会只练一块肌肉，深蹲、卧推、硬拉、划船各有各的训练目标，缺了哪一项,身体都不均衡。
说明书造题，还得有人把关
光靠AI自己出题肯定不靠谱，这就像让学生自己出试卷还自己批改，分数肯定虚高。
论文设计了一个**建造者-审查者**的双重把关机制。
建造者智能体：负责读懂技能文档，搭建任务运行环境，写出具体的任务说明、参考解法和验证脚本的那个AI角色。审查者智能体：负责挑刺的另一个AI角色，专门检查建造者做出来的任务有没有信息泄露、验证器是否过严或过松等问题。
整个流程分两个阶段。第一阶段是搭环境，建造者先写好Docker配置文件，把技能需要的各种依赖装进去，审查者会实际启动这个环境跑几个测试命令，确认真能用，如果跑不通就打回去重改，循环往复直到通过。
第二阶段是出题本身，这里设了三道关卡。第一道是"适配关"，如果某个技能根本撑不起某种出题套路，直接跳过，不硬凑。第二道是"有效性关"，用程序自动验证：任务一开始是没法通过验证的，但按照参考答案做完之后，验证器必须变成通过。如果一开始就能通过，说明题目太简单；如果按标准答案做了还通不过，说明题目本身有问题。第三道是"质量关"，审查者会专门检查有没有信息泄露，比如说明文字里不小心把答案透露出来了，或者验证规则写得过于死板，只认一种解法。
这个三重把关的逻辑，很像餐厅后厨的三道检验：食材新鲜度查一遍，烹饪流程查一遍，出餐前摆盘和口味再查一遍。
如果省掉中间任何一道，端上桌的菜可能看着没问题，吃出来才知道哪里不对劲。论文里提到，有将近四分之一的任务是在"有效性关"就被判定不合格，直接被过滤掉，这说明光靠AI自动生成，出问题的概率相当高，审查这道工序绝非可有可无的装饰。
最终，这套流水线从18.4万份爬取下来的技能文档里，筛选出近1.2万份可用的技能包，再从中构建出6772个任务，覆盖19个领域，3494个不同的技能。
教AI做题，不如教AI交卷子
光有题库还不够，还得有"学霸"做的标准答案去教新手AI。
研究团队用三个开源大模型（Kimi-K3、DeepSeek-V4-Flash、GLM-5.2）去做这6772道题，同时切换了四种不同的操作界面，有的只能用命令行敲指令，有的有专门的文件操作工具，接口格式也各不相同。这样做是为了让训练出来的AI不要只学会一种"做题姿势"，而是能适应各种不同的工作环境。
最终收集到1.9万条成功做对题目的完整记录，拿去训练了六个不同家族、不同体量的大模型，从20亿参数的小模型到1220亿参数的大模型都覆盖了。
打开说明书的概率，从28%飙到96%
结果最让人意外的一点，不是分数涨了多少，而是**AI翻说明书的习惯彻底变了**。
训练之前，Qwen3.5-9B这个模型遇到任务时，主动去读相关技能文档的比例只有28%，也就是说七成的任务它压根没打开说明书，全靠自己的知识储备硬闯。经过SkillGym的训练之后，这个比例飙升到了96%。
这个变化比单纯分数上涨更本质，因为读说明书是用好说明书的前提。如果连打开都不打开，后面的能力再强也没用武之地。
论文还测了一个更细的指标，叫"遵循度"，指的是AI读了说明书之后，有没有真的照着上面写的步骤去做，而不是读完了还是按自己的套路来。这个指标从32.5分涨到了49.0分，涨幅不如"打开率"那么夸张，但也说明光是打开文档还不够，真正把内容用对才是硬功夫。
有没有说明书，差距有多大
研究团队还专门做了个对照实验，看同一个模型在有没有技能文档两种情况下表现差多少。
训练之前的基础模型，有没有说明书，成绩只差7.5个百分点，从33.8%涨到41.3%。经过SkillGym训练之后，这个差距一下子拉大到16.5个百分点，从43%涨到59.5%。
这说明训练之后的模型不仅基础能力变强了（没有说明书时成绩也从33.8%涨到43%），而且从说明书里榨取价值的能力翻了一倍还多。这就好比两个厨师同时拿到一份新菜谱，手艺普通的厨师照着菜谱也只能做出及格水平的菜，而训练有素的厨师拿到同一份菜谱，能做出餐厅级别的成品，差距全在"读懂并落地"这个环节。
没见过的说明书，照样能看懂
一个自然的疑问是：AI会不会只是把训练时见过的那几个技能文档背下来了，换一个新的技能文档它就不会用了？
研究团队专门做了这个测试，把测试集分成两组：一组是训练时见过的技能，一组是训练时完全没出现过的技能。结果显示，训练后的模型在"见过的技能"上成绩从40.0%涨到57.0%，涨了17个百分点；在"没见过的技能"上，成绩从42.5%涨到62.0%，涨了19.5个百分点。
两组涨幅相当，甚至没见过的那组涨得还稍微多一点。这说明AI学到的不是某个特定技能的死记硬背,而是一种"怎么读说明书、怎么照着做"的通用能力。这种能力可以迁移到全新的技能文档上。
**这正是这项研究最有价值的地方：训练出来的不是一个只会用固定几个工具的专才，而是一个学会了阅读方法的通才。**
小模型逆袭大模型
最让人意外的一组数据，是训练后的90亿参数Qwen3.5-9B模型，在自家测试集和SkillEval基准上，成绩超过了3970亿参数的未训练Qwen3.5模型。参数量差了四十多倍，小模型反而赢了。
这个结果乍一听有点反直觉，毕竟通常认知里参数越大的模型能力越强。但如果仔细想想，这恰恰说明了一个被很多人忽视的事实：很多时候AI做不好任务，不是因为它"不够聪明"，而是因为它根本没养成正确的行为习惯,比如碰到任务就去翻说明书这种基本动作都没有。
**一个参数量小但行为习惯对的模型，可以打败一个参数量大但行为习惯差的模型。**
这个发现对整个行业有不小的启发意义：与其一味堆参数，不如先把基本功练扎实。就像两个人下棋，一个是刚学会规则但从没练过开局套路的高智商选手，一个是智商普通但把开局定式背得滚瓜烂熟的普通选手，很多时候后者反而赢得更稳。
哪种任务训练效果最好，哪种最难啃
论文还做了一个挺细致的拆解分析，按照任务的推理结构（也就是前面提到的程序式、溯因诊断、约束满足、偏序规划这几种）分别统计训练效果。
结果发现，四种结构的提升幅度相当接近，在自家测试集上提升16.9到22.1个百分点，在SkillEval上提升15.4到16.4个百分点。更有意思的是，"规则应用"这类任务只占训练数据的12%，是个小众类型，但在测试时照样能提升13.9个百分点。这再次印证了前面说的，AI学到的是通用方法，不是死记硬背某种题型。
但有一个例外。在SkillsBench这个由人类专家手写的测试集上，研究者进一步按"技能提供了什么"来拆解：如果技能文档提供的是**参考资料**（比如背景知识、规范文档），提升可以达到28个百分点；但如果技能文档提供的是**一个具体的工具或方法**（需要AI学会调用某个脚本或遵循某套操作手法），提升几乎是零。
这个发现挺值得琢磨。它说明目前这套训练方式，更擅长教会AI"去查资料、理解背景知识"，但在"学会使用一个具体工具"这件事上还没真正突破。这就好比学生考试，背诵类知识点练一练就能见效,但动手实验操作类的技能,光靠看说明书、刷题库还不够，得真正上手练过才行。研究者自己也坦承，这是留给后续工作的一个开放方向。
品控比数量更重要
论文里还做了个很实在的消融实验，控制训练数据总量不变的情况下，比较"只通过了基础有效性检验的任务"和"经过审查者把关、质量更高的任务"哪个训练效果更好。
结果是，用审查者把关过的高质量任务训练出来的模型，在自家测试集上领先4.7分，在SkillEval上领先6.7分，在技能使用的"遵循度"指标上领先9.3分。
这个结果说明，光靠程序自动检验"任务一开始做不通、照着答案做能通过"这个底线是不够的，还得有一道人工（或者说AI审查者）把关的质量关卡，才能真正提升训练数据的含金量。这就像招聘简历筛选，光看学历达标还不够，得再经过一轮面试才能真正筛出合适的人。如果只靠自动化规则过滤,很多看似合格、实则有瑕疵的任务会混进训练集，拖累最终效果。
论文还测试了另一个变量：如果只用程序式这一种任务类型训练，和混合四种类型训练相比，效果差不多，甚至在SkillsBench上混合训练还略微逊色一点。这进一步说明，AI学会的那套"用好说明书"的本领，不依赖于训练任务和测试任务的结构必须严丝合缝地对上。
强模型也需要说明书
最后一个挺有意思的验证实验，是拿参与训练数据生成的"老师模型"之一Kimi-K3，去测试它在有没有技能文档的情况下做题成绩差多少。
结果显示，即使是这种高水平模型，有没有说明书，成绩也相差8.3个百分点，从60.5%涨到68.8%。更细的数据显示，52道题目只有在有说明书的情况下才能做对，只有19道题目反而是没说明书做得更好,这个差异在统计上是显著的。
**这说明SkillGym构建的任务，确实达到了"技能关键"这个设计初衷。**就算是顶尖水平的AI模型，这些任务里也藏着它单靠自身知识储备无法稳定掌握的细节，必须依赖说明书里的专业信息才能稳定做对。
其中程序式任务从说明书里获益最大，涨了16个百分点，这很好理解，因为这类任务严格按照技能文档里写的工作流程一步步推进，不照着做基本上没法走完全程。而溯因诊断和偏序规划类任务获益相对较小，分别只涨了4和3个百分点，这是因为强模型本身的推理能力已经比较强，哪怕没有说明书，靠自己摸索和试验也能大概率复原出需要的知识。
写在后面
读完这篇论文,我最大的触动不是技术细节，而是那个28%到96%的数字对比。它揭示了一个被行业长期低估的问题：我们总以为给AI配上说明书、配上工具就万事大吉了，却很少有人认真测过AI到底会不会主动去翻这本说明书。
这让我想起带新员工的场景。公司给每个新人发了一本厚厚的操作手册，但很少有人会真的从头到尾看完，大部分人靠同事口头传授和自己摸索。如果这个新员工后来成了老师傅，带新新员工的时候，他会不会教给新人"先翻手册"这个习惯？大概率不会，因为他自己当年也没这么学。这个"不查手册"的习惯，就这样一代代传下去，直到有人意识到问题所在，专门设计一套训练机制逼着大家养成查手册的习惯。
SkillGym做的事情本质上就是这个"逼着养成习惯"的工作。它没有改变AI的底层能力上限，而是改变了AI的行为模式，让AI从"遇事靠蒙"变成"遇事先查资料"。
论文里还有个细节值得单独拎出来说，就是技能提供参考文档的任务涨分特别明显，但需要调用具体工具的任务几乎没涨。这其实暴露出一个挺根本的问题：读懂一段文字和学会操作一个工具，对AI来说可能是两种完全不同难度的能力。前者更接近阅读理解，后者更接近动手实践。人类学一门手艺，光看说明书是学不会的，得真正上手练，AI会不会也是同样的道理？这个问题，这篇论文没有给出答案，但它把这个问题摆在了桌面上。
Q&A
Q1：SkillGym是什么？
A：SkillGym是一套自动化训练流程，它把互联网上社区写的大量技能说明文档转化成AI可以练习的任务环境，每个任务都配有参考答案和自动检验程序，用这些任务收集的成功案例去训练AI模型，让AI学会主动查阅并正确使用说明书完成任务。
Q2：SkillGym训练后AI的技能使用能力提升了多少？
A：最明显的变化是AI主动打开相关技能文档的比例从28%提升到了96%。同时经过训练的90亿参数模型在多项测试基准上的表现，甚至超过了参数量大四十多倍的未训练大模型。
Q3：SkillGym训练出来的能力能用在没见过的新技能上吗？
A：可以。论文专门测试了训练时完全没出现过的技能，结果显示成绩提升幅度和训练时见过的技能相当，甚至略高一些，说明AI学到的是通用的阅读和执行方法，而不是死记硬背某几个特定技能。
