2026年初,如果你去问一个机器学习工程师,什么工作最消耗脑力又最难自动化,很多人会提到一件事:调试一个训练了八小时却跑崩了的模型,然后决定下一步该往哪个方向改。
这件事难就难在,它不是一次性的判断题。
你改了一个参数,等几个小时跑出结果,发现分数反而掉了,这时候你得想清楚是哪一步出了问题,是数据处理方式不对,还是模型选型有偏差,还是过拟合了。想明白之后再去改,再等几个小时。一个像样的机器学习项目,这样的循环可能要走几十轮。
过去几年,AI圈子里一直有个说法叫AI4AI,意思是用AI来做AI的研发工作,这被认为是通向"递归自我提升"的一条路。但真正让人头疼的是,怎么让AI自己完成这种需要长时间、多轮判断的实验过程,而不是每一步都让人类写好脚本告诉它该干什么。
这篇来自上海人工智能实验室和华东师范大学团队的论文,就是冲着这个问题去的。他们训练出了一个叫MLExpert的模型,规模是350亿参数(但每次只激活约30亿),让它学会像一个真正的算法工程师那样,自主地做实验、看结果、改方向,一路跑到底。
过去的AI工程师,更像是流水线上的工人
在MLExpert之前,大多数自动化机器学习系统走的是另一条路。
**外部编排**:由人类预先写好一套工作流程或搜索规则,告诉AI在第几步该做什么,AI只是在这些固定节点上负责写代码或者改bug。
这种设计的问题在哪?
想象一个厨房里,有个经验丰富的厨师想要调试一道新菜的配方,但老板规定了流程:先炒糖色,再下肉,最后勾芡,顺序和步骤都不能变,厨师只能在每个固定环节里调整火候。可实际做菜经常是,尝了一口发现味道不对,得回头重新想调料配比,而不是机械地走完剩下的流程。如果厨师完全被流程锁死,他永远没法根据实际味道去调整整个思路,只能在别人划好的格子里打转。
论文里提到的AIDE、MLE-STAR等系统,大体都是这种模式:外部控制器拿着预先设计好的搜索规则,调度几个LLM worker分别去起草代码、调试代码、挑选方案,整个决策权不在模型手上。
而最近出现的Arbor、Argus这类系统,开始让模型自己掌管实验状态,决定要不要继续、要不要推翻重来。这是个方向上的转变,但训练这种能力本身就很难。
论文作者归纳出三个难点。
第一个难点是环境设计:开放式的机器学习任务,需要一个既能保留实验状态,又把决策权完全交给模型的交互环境,这件事此前没人认真做过。
第二个难点是数据质量:一条长达几十轮的交互轨迹里,有些决策是聪明的探索,有些是失败后的补救,还有些纯粹是瞎改,把这些混在一起喂给模型学习,等于让它什么都学了一点,什么都没学精。
第三个难点是反馈延迟:做一次实验往往要等很久才出结果,而这个结果其实反映的是之前好几步决策的综合效果,不是某一步单独的功劳或过错。强化学习要怎么把这个延迟反馈,正确地分配给对应的那几步决策?
这三个问题,决定了这篇论文接下来要讲的所有设计。
先造一个"可执行的练习场":Kaggle-MLE Factory
训练一个要自主做实验的AI,首先得有大量真实、可执行的任务让它练手。
团队的做法是把历史上的Kaggle竞赛改造成可执行任务,他们管这套系统叫**Kaggle-MLE Factory**
**Kaggle-MLE Factory:一套多智能体流水线,专门把真实的历史Kaggle竞赛数据,转换成带有公开工作区、隐藏测试集和统一评分接口的可执行训练任务**
起点是一份包含11649场竞赛的元数据快照。团队设计了一个发现智能体,负责按照赛事完成度、参赛队伍数量(至少50支)、数据规模上限(200GB)等条件筛选候选任务,同时还要照顾不同数据模态的覆盖,比如图像、文本、音频、表格数据和时间序列。
筛出候选之后,分析智能体负责解析数据结构和字段含义,生成器智能体据此准备数据、从原始带标签数据里划出一个隐藏测试集、再实现专门的评分脚本。整个任务还要在真实数据上跑一遍,验证智能体检查数据完整性、提交格式、评分行为是否正常,有问题就打回去修。
最后,团队从160个通过自动校验的任务里,人工剔除6个存在标签或评分问题的,留下154个正式投入使用。
这个过程像什么?
有点像把散落在各地、格式五花八门的旧试卷,统一改造成带标准答案和自动判分系统的标准化考题。如果不做这一步,直接拿原始Kaggle竞赛数据训练模型,会出现各种格式不兼容、评分标准模糊的问题,模型很可能在学习"如何应付奇怪的数据格式",而不是在学习"如何做好机器学习"。标准化的代价是前期要花大量人力搭建这套工厂流水线,但换来的是后续训练可以在一个干净、统一的环境里稳定进行。
把决策权真正交给模型:Interaction Harness
有了任务,还需要一个让模型自主行动的舞台,论文把这个舞台叫做**Interaction Harness**
**Interaction Harness(交互脚手架):一套遵循ReAct式循环的交互系统,核心特点是把实验路径的选择权完全交给模型,而不是依赖外部搜索策略**
这套系统把每一次实验的状态,比如代码、执行日志、各种元信息,都存成一个"解决方案节点",父子节点之间形成一棵实验树。模型可以回看这棵树上的任意节点,决定是继续往前走、退回某个节点重来,还是彻底换个方向。
它提供了一整套工具:执行代码、分析结果、修改代码、检索历史、管理提交候选。模型通过execute_code来跑实验,通过update_answer来更新自己当前认为最好的提交方案。当交互历史接近模型的上下文长度上限时,早期对话会被自动摘要,只留最近的交互细节。
论文还设计了一个很有意思的细节:
**analyze工具:把复杂的数据探索、结果诊断任务委派给一个拥有独立上下文的分析子智能体,只把分析摘要返回给主模型**
这个设计是为了避免主模型被海量的数据探索细节占满上下文,就像一个项目经理不需要亲自去翻每一行原始日志,他只需要听分析师汇报结论。
另外还有一个invalidate_node工具,专门用来处理过拟合或者数据泄漏导致验证分数虚高的情况,模型发现某个候选方案的分数不可信时,可以主动把它标记为无效,排除干扰。
这套设计解决的核心矛盾是什么?
如果把实验路径的分支选择权继续交给外部规则,模型永远只是在执行指令,学不会真正的判断力。就像一个被要求严格照着菜谱做菜的学徒,永远学不会在没有菜谱的情况下独立开发新菜式。只有把决策权真正下放,模型犯的错、走的弯路、最后的顿悟,才都是它自己的经验,训练出来的能力才是真正可以泛化的判断力,而不是记住了某种固定套路。
两阶段的分层监督微调
有了任务和交互环境,接下来是怎么教模型。团队采用的是两阶段的**分层智能体SFT**
**SFT(Supervised Fine-Tuning,监督微调):用人类或更强模型生成的高质量示范数据,教模型模仿正确的行为模式**
第一阶段,用来自StepFun的通用编程和工具调用轨迹,教模型最基础的工具使用和代码修改能力,相当于让模型先学会怎么用工具、怎么读懂反馈,再谈专业判断。
第二阶段才是重点,团队引入了机器学习领域的示范轨迹,以及从Nature系列论文改编而来的科学实验任务轨迹,这部分数据教模型如何设计算法、分析实验、迭代优化。
这里有个值得细说的设计,叫做**结果引导的监督选择**
这个设计解决的是前面提到的第二个难点:长轨迹里混杂着好决策和坏决策,怎么挑出有用的部分来训练。
团队的做法是,追踪一条完整轨迹里所有提交方案的分数变化,找到第一次出现最好分数的那个点,然后看这之后模型的表现是继续改进还是开始退化。如果退化程度超过设定的阈值(论文里用的是5%),就把"第一次达到最优"的那个点作为截断锚点,只保留这之前的轨迹部分用于训练;如果没有明显退化,就保留到最后一次提交为止。
这相当于什么场景?
假设你在整理一份考试复盘材料,想用来教新人怎么准备考试。复习过程中有一段,学生从60分一路刷到95分,这段值得学。但如果之后因为过度纠结细枝末节,反而从95分掉回了80分,这段"画蛇添足"的经历就不该被当成正面教材照单全收。如果把整个过程不加筛选地喂给新人学,新人很可能学会了那种"复习到后期反而变差"的坏习惯,而分不清哪段才是真正值得模仿的。结果引导的筛选,就是替模型过滤掉这种"由好变坏"的噪音尾巴,只留下真正有参考价值的探索过程。
训练时还有个细节:损失函数只计算模型新生成的推理内容、文本回复和工具调用,至于工具返回的结果和历史对话内容,只当作上下文参考,不计入训练损失。这样模型学的是"该怎么决策",而不是去死记硬背环境返回了什么。
WIRL:把延迟反馈精准分配给对应的决策
分层SFT让模型学会了模仿,但模仿终究有天花板,真正让MLExpert能力更上一层楼的,是论文提出的核心创新**WIRL(Windowed Interaction Reinforcement Learning,窗口化交互强化学习)**
**WIRL:一种强化学习方法,把两次实验结果之间的所有模型决策打包成一个"执行窗口",用这次实验的最终结果给整个窗口分配一个共享奖励**
这个设计要解决的,正是前面提过的第三个难点:一次实验的反馈,其实对应的是之前好几轮分析、改代码、调用工具的综合结果,不是某一步单独的功劳。
具体怎么算奖励?
论文设计了一套分级奖励机制。如果模型的操作本身导致执行出错,奖励是-1.0;没出错但没能产出可评分的提交,奖励是-0.6;提交了但分数没到奖牌门槛,奖励是-0.4加上一个趋势分;拿到铜牌或银牌是1.0加趋势分;拿到金牌是2.0加趋势分。
这个"趋势分"也很关键,它比较的是当前这次有效提交和上一次有效提交相比,是进步了、持平还是退步了,进步加0.2,退步减0.2,持平不变。
这种设计捕捉的是局部优化的进展方向,而不只是看绝对分数高低。
**WIRL与标准GRPO(Group Relative Policy Optimization,组相对策略优化)不同的是,它不做组内相对归一化,而是直接把这个可验证的执行奖励,当作共享权重应用到窗口内所有模型输出的token上**
为什么要放弃组内归一化?因为机器学习任务的评估指标和分数尺度千差万别,一个任务的"好"分数可能是0.95,另一个任务的"好"分数可能是12.3,直接做组间比较没有意义。用任务专属的奖牌门槛作为统一参照,反而更公平。
这套窗口化的设计像什么?
想象一个足球教练在复盘一场比赛,他不会把整场90分钟的表现打一个笼统的分,而是把比赛切成一个个进攻回合来分析。每个回合从拿球开始到射门或丢球结束,这段时间里前锋、中场、后卫的一连串配合动作,共同决定了这个回合是不是进球了。教练给这个回合里所有参与的球员打相同的回合评分,而不是等整场比赛结束才笼统评价所有人。如果非要等90分钟结束才给出唯一一个评价,教练根本没法知道是第37分钟的那次传球出了问题,还是第62分钟的防守失位出了问题。窗口化的设计,就是把一场漫长比赛切成一个个可以独立评估的回合,让反馈能够精准落地到对应的那一段决策上。
还有一个工程上的难题是**异步收集与策略校正**
因为不同实验耗时差异很大,有的几分钟跑完,有的要跑好几个小时,一条完整的轨迹可能横跨好几次策略更新。这意味着收集到的某些数据,是用"旧版本"的模型生成的,而不是当前正在训练的这个版本。
团队用的办法是记录采集时的log概率,和训练当下的log概率做比较,算出一个校正系数。如果这个系数落在合理区间内,就按权重纳入训练;如果偏差太大,这个token干脆被排除在更新之外,不参与梯度计算。
这相当于什么?
想象一个工厂的质检流程,不同批次的产品是在不同时间段、由不同状态的机器生产出来的。如果直接把早期机器和当前机器生产的产品混在一起打分,而不做任何校准,质检结果就会失真。策略校正做的事,就是给每批产品打上生产时间戳,对那些和当前机器状态差异过大的产品数据做适当降权甚至剔除,确保质检结果反映的是当前机器的真实水平,而不是被过时数据污染。
效果到底如何
说了这么多设计思路,最终要看结果。
团队在**MLE-Bench Lite**上做了主要评测,这是从MLE-Bench里挑出的22个历史Kaggle竞赛子集,专门用来衡量端到端机器学习工程能力。
结果相当亮眼:MLExpert把基座模型Qwen3.6-35B-A3B的平均奖牌率,从37.9%提升到了72.7%。
这是什么概念?
要知道同样规模(350亿参数)的其他模型里,表现最好的Nex-N2.5-mini也只有47.0%的奖牌率。而72.7%这个数字,已经和参数量大得多的GLM-5.3、Kimi-K3这类前沿模型打平。一个规模不算顶尖的模型,靠后训练方法追平了大模型的表现,这说明决定上限的不只是参数量,训练方法本身的价值被证明是实打实的。
更值得关注的是,在Claude Code这种通用编程工具环境下测试(而不是MLExpert专属的交互环境),MLExpert依然保持69.7%的奖牌率,比它的基座模型42.4%高出27.3个百分点,比同规模最强基线也高出22.7个百分点。这说明训练带来的能力提升不是针对特定交互环境的"作弊式"优化,换个环境依然好用。
团队还做了详细的消融实验,逐步验证每个训练阶段的贡献。基座模型的奖牌率是37.9%,加上通用智能体SFT后提升到47.0%,再加上机器学习领域SFT后提升到62.1%,最后加上WIRL提升到72.7%。每一步都有实打实的增量贡献。
在强化学习方法的对比上,团队拿WIRL和标准GRPO、PPO风格优化做了对比。结果显示,GRPO只能达到56.1%,PPO风格优化是60.6%,两者甚至都低于只做了SFT的62.1%。而去掉趋势奖励的WIRL变体是66.7%,去掉策略校正的变体是65.2%,完整版WIRL则达到72.7%。这说明窗口化本身、局部趋势奖励、策略校正这三个设计缺一不可,拿掉任何一个都会掉分。
这种能力能泛化吗
一个自然的追问是,MLExpert学到的是不是一种只适用于Kaggle竞赛套路的"应试技巧",还是真的学到了某种可以迁移的优化能力。
团队在**NatureBench Lite**上做了验证,这是从Nature系列期刊论文里改编出的十个科学实验任务,用来检验AI能不能复现甚至超越已发表的科研结果。
**Surpass-SOTA(超越已发表最优水平)**:指模型的结果显著超过了论文里报告的最佳结果(超出幅度大于10%)
**Match-SOTA(达到已发表最优水平)**:指模型结果不低于论文报告的最佳结果
结果显示,MLExpert把Surpass-SOTA比率从基座模型的0.0%提升到了50.0%,Match-SOTA比率从40.0%提升到70.0%,和参数规模大得多的GLM-5.3打平。
这说明模型学到的不只是"怎么在Kaggle上拿奖牌",而是一种更通用的长程实验优化判断力。
团队还做了两个更有意思的跨任务测试。第一个是智能体脚手架优化,让模型去优化一段调用GPT-4.1-nano的Python代码框架,用于解答AIME数学竞赛题目,在没见过的年份上测试。结果MLExpert优化出的脚手架在留出测试集上达到43.7%准确率,而基座模型只有23.3%,整整高出20个百分点。
更有意思的是,仅做了SFT阶段的模型(MLExpert-SFT)用更少的调用次数(3.51次 vs Kimi-K3的8.65次),就达到了接近Kimi-K3的准确率(38.1% vs 40.0%),说明它学会了更高效地使用有限的调用资源,而不只是靠多次尝试硬堆结果。
第二个测试是在MLS-Bench-Lite上做算法组件优化,涉及语言模型去遮罩策略、多目标优化、因果图发现等12个不同领域。MLExpert的平均归一化奖励从0.322提升到0.425,在12个任务里有10个表现更好,1个打平,只有1个略逊。
这种跨越完全不同领域的泛化能力,是整篇论文里最让我觉得值得玩味的部分。
一个具体的案例
论文还讲了一个具体的案例,很能说明问题。
团队选取了MLSP 2013 Birds这个鸟类声音分类任务,追踪MLExpert的完整优化过程。它从音频特征加LightGBM这样的简单组合起步,逐步过渡到PANNs(预训练音频神经网络)的嵌入特征,再到AST(音频谱变换器)微调加注意力池化加MLP分类头,最后用更长的训练周期和快照平均来做收尾。
最终,完整版MLExpert把ROC-AUC从0.58提升到了0.964,而只做了SFT的版本是从0.60提升到0.88。两个模型起点差不多,但完整版走得更远。
这中间的差距,正是WIRL这个强化学习阶段带来的,模型不再是简单地模仿示范轨迹里的固定套路,而是真正学会了根据实际反馈持续调整方向,哪怕走到了一个看起来还不错的中间状态(0.88),依然有判断力继续往前推进到更好的结果(0.964)。
写在后面
读完这篇论文,有一个细节一直在我脑子里转:团队做的那个异步学习器等待时间对比实验,GRPO的学习器有87.6%的时间在空等数据,而WIRL只有39.3%。
这个数字背后藏着一个容易被忽略的事实:强化学习训练效率的瓶颈,很多时候不在算法本身,而在于数据怎么流转。一条机器学习实验轨迹可能要跑十几个小时才能结束,如果非要等整条轨迹跑完才能更新一次模型,那训练效率会被拖得极低。WIRL把窗口拆小、异步收集,本质上是在工程层面解决了一个算法层面容易被忽视的问题。这提醒我,很多时候一个方法好不好用,不完全取决于数学上多精妙,也取决于它和真实世界的时间节奏合不合拍。
另一个让我反复琢磨的地方,是论文里那个"结果引导的监督选择"机制。它本质上是在教模型区分"运气好"和"真的学会了"。一条轨迹如果分数先涨后跌,到底该学前半段还是该整条都不学?团队选择只保留涨到顶点为止的那部分。这种处理方式背后有一种克制:不是所有的数据都值得学,哪怕这条数据来自一次"成功"的实验。
这篇论文没有解决的问题也很明显。它目前验证的场景主要还是表格、图像、音频这类相对成熟的机器学习任务,对于更开放式的科研问题,比如需要提出全新假设、设计全新实验范式的场景,这套方法是否依然适用,论文里没有给出答案。NatureBench Lite的测试只是复现已发表的结果,而真正的科研突破往往发生在"没有人知道答案"的地方。
一个AI系统能不能提出一个连人类研究者都没想到的实验方向,这大概是下一个值得追问的问题。
Q&A
Q1:MLExpert是什么?
A:MLExpert是上海人工智能实验室等团队训练的350亿参数混合专家模型,能够自主完成机器学习工程任务,包括设计实验、分析反馈、迭代优化方案,在MLE-Bench Lite上把基座模型的奖牌率从37.9%提升到了72.7%。
Q2:WIRL和普通的强化学习方法有什么不同?
A:WIRL把两次实验结果之间的所有模型决策打包成一个执行窗口,用该次实验结果给整个窗口分配共享奖励,并支持异步收集数据和策略校正,从而能在不等完整轨迹结束的情况下就开始学习,实验显示效果优于GRPO和PPO风格优化。
Q3:MLExpert的能力只能用在Kaggle类竞赛上吗?
A:不是,论文验证了它在NatureBench科学任务复现、AIME数学竞赛智能体脚手架优化、MLS-Bench算法组件优化等多个跨领域任务上都有明显提升,说明学到的是可迁移的长程实验优化判断力。







