你有没有遇到过这种人：刚学会做红烧肉，结果炒青菜的手艺反而退步了？
这听起来有点荒谬，但如果把这个人换成一个正在被训练的AI智能体，这事儿还真的天天在发生。
想象你正在打造一个全能AI助手，希望它既能做数学题，又能上网搜资料，还能处理电商客服，最后还得会严格按照用户的指令行事。听起来只要把这四种能力依次训练一遍就行了，对吧？训练完数学，模型学会推理了；接着训练搜索，模型学会查资料了；再训练电商，学会跑腿办事了；最后训练指令遵循，学会听话了。四种能力叠加起来，应该得到一个全能选手。
但UCLA和UC Santa Cruz的研究者们做了这个实验后发现，事情完全不是这样。他们把这套四阶段训练流程做完后，测了一下模型在数学题AIME26上的表现：从25.83分，一路掉到6.04分,几乎腰斩到快归零。搜索能力也好不到哪去，从45.2掉到14.6。 就像你辛辛苦苦练成的红烧肉手艺,被后面学的炒青菜生生挤没了。
这就是这篇论文要解决的核心问题:**智能体持续学习**（ACL，Agent Continual Learning，指AI智能体在不断学习新任务的过程中如何处理新旧能力之间的冲突）。研究者把这套系统叫做ACLArena,专门用来研究这个"学了新的忘了旧的"的诡异现象,并且试图找出一套靠谱的解决方案。
为什么会这样：一场关于"参数空间"的拔河比赛
要理解这个问题,得先明白一件事:大语言模型学习一项新技能,本质上是在调整它内部海量的参数。
打个比方,这些参数就像是一栋大楼里成千上万个可以微调的螺丝钉。训练数学能力的时候,某一批螺丝往某个方向拧;训练搜索能力的时候,另一批螺丝往另一个方向拧。问题是,很多螺丝钉是重叠的,同一颗螺丝可能被数学任务往东拧,又被电商任务往西拧。
研究者做了一个特别直观的实验来验证这件事。他们把每个训练阶段结束后的模型参数,投影到二维平面上做**主成分分析**（PCA，一种把高维数据降到低维、同时尽量保留原始信息差异的统计方法,常用来可视化复杂数据的分布规律）。
结果非常清楚:四个单任务的"理想模型"（论文里叫oracle,就是单独用某个任务从头训练到底得到的模型,代表这个任务能达到的能力上限）,在这张图上分别落在四个完全不同的方向上。这说明,不同任务对参数的"拉扯方向"根本不是同一个方向,只是部分重叠。
更扎心的是,研究者还发现了一个规律:模型经历的训练阶段越多,它离"起点"（也就是最初的预训练模型）就越远,想要再回头精准地命中某个单任务的理想状态就越难。这就好比你从家出发去公司,路上被拉去开了三个会,绕了三次弯路,现在再想精准走回最初那条最短路径,已经很难做到了,因为你的"当前位置"已经严重偏离了。
这里有个细节值得多说一句。研究者不满足于用这一套课程顺序（数学→搜索→电商→指令遵循）来下结论,他们又单独训练了四个互不干扰的"独立专家"模型,发现即便完全不涉及顺序学习,不同任务学出来的能力提升方向,依然是近乎正交的。换句话说,这不是训练顺序设计得不好导致的巧合,而是任务本身的性质决定的:数学推理和电商客服要求模型往完全不同的方向去调整自己的"思维方式"。
显微镜下的细节:是所有的"想法"都被推翻了吗？
如果说上面的参数分析是从模型的宏观视角看问题,那接下来这个实验就是把显微镜怼到了每一个词身上。
研究者做了个巧妙的设计:先让"数学阶段"的模型生成一段回答,把这段话的每一个词都记录下来。然后固定住这段文字,依次让后面每个训练阶段的模型都来"预测"同样位置该输出什么词。如果后面的模型依然认为"这个位置该输出的第一选择词"和数学模型一致,就算是"预测保持稳定"。
结果发现一件很有意思的事:大部分词的预测其实压根没变。
具体数字是这样的:那些模型很"确定"该输出什么词的位置(用信息论里的**熵**——entropy来衡量,熵越低说明模型对下一个词越有把握,几乎没有别的选项——占到全部位置的九成以上,占比94%),这些位置的预测一致性高达99.7%以上,几乎纹丝不动。真正发生剧烈变化的,是那一小撮模型本来就"拿不准"的高熵位置,只占6%左右,但这些位置的预测一致性从99.7%骤降到只有68%左右。
这个发现的价值在哪儿?它告诉我们,后续训练带来的"遗忘",并不是把整个模型的知识推倒重来,而是精准地打在了那些"关键决策点"上。比如在搜索任务里,选择用哪个关键词去查资料、什么时候该停止搜索、给出最终答案,这些恰恰都是熵比较高的位置,因为存在多种合理的选择。而这些恰好是决定任务成败的关键节点。
打个比方,这就像一个老练的司机在开车。大部分时间(直线行驶、匀速跟车)他都是凭本能反应,几乎不需要思考,这部分技能非常稳固,不容易因为学开新车型而丢失。但真正考验驾驶水平的,是那些十字路口要不要变道超车、突发状况要不要急刹车的瞬间判断。如果这个司机换了辆新车重新适应了一阵,恰恰是这些关键判断时刻的直觉会被打乱,而不是基本的踩油门刹车这种肌肉记忆。如果不做这种细粒度的定位分析,你可能会误以为模型是"全面退化",从而选择一个笨重的解决方案,比如把所有数据混在一起从头训练一遍。但真相是问题集中在少数关键节点上,这就为后面"精准打击"式的修复方案埋下了伏笔。
三条修复路径的较量
搞清楚了病因,接下来就是开药方了。研究者摆出了三种目前业界比较主流的解决思路,逐一测试它们的效果。
**第一条路,叫多教师混合在线蒸馏（MMOPD，Multi-teacher Mixed On-policy Distillation）**
**蒸馏**（Distillation，指用一个更强的"教师模型"去监督、纠正"学生模型"的输出,让学生模型的行为逐渐向教师靠拢的训练方法）。
在线蒸馏（On-policy Distillation, OPD）的思路是,让每个阶段训练完的模型都当一次"老师",去监督最后那个已经"忘了很多东西"的学生模型。具体做法是,学生自己生成一段回答,然后每个专精不同任务的老师模型分别检查这段回答,告诉学生哪里该改。
但研究者发现直接这么做会出问题,而且是灾难性的问题。他们把这种朴素的蒸馏方法用在恢复"搜索"能力上,结果训练直接崩了:模型输出格式错误率飙升到接近100%,回答被截断的比例也一路走高,最后测试集上的表现直接归零。
深挖原因发现,问题出在一种叫作**反向KL散度**（Reverse KL Divergence,一种衡量两个概率分布差异的数学指标,反向KL的特点是会让学生模型的输出"收窄"到教师最自信的那几个选项上,俗称"模式寻求"）的机制上。这种机制在教师很确定该说什么的时候（比如低熵位置）效果很好,能让学生精准模仿。但一旦碰到教师自己也拿不准的高熵决策点（比如到底该搜哪个关键词）,这种机制反而会逼着学生只能死盯着教师给出的某一个选项,把其他同样合理的选择全部抹掉,导致模型在这些关键节点上变得死板,进而整个推理链条崩溃。
研究者的解法很巧妙,叫**混合KL蒸馏（Mixed OPD, MOPD）**。
低熵的地方(教师很确定的地方)继续用反向KL,该模仿就模仿;高熵的地方(教师自己也在犹豫的决策点),额外加一个**正向KL散度**（Forward KL Divergence,和反向KL相反,它鼓励学生覆盖教师分布里更多的可能选项,不会把概率都压缩到一个点上,俗称"模式覆盖"）,让学生保留更多样的应对策略。这就像是一个师傅带徒弟,平时该怎么干活就手把手教,但碰到那种"其实有好几种合理做法"的关键岔路口,师傅不会强行只教一种方法,而是把几种可行方案都摆出来,让徒弟自己灵活选择。如果不做这个区分,徒弟就会在遇到真实工作中的新情况时手足无措,因为他只学会了师傅示范过的那唯一一种走法。
这套改良版方法上线后,效果立竿见影,在search任务上的表现甚至反超了原始的search专家模型。研究者进一步把它扩展成多教师版本(MMOPD),让四个阶段的教师各自负责监督自己擅长的领域,最终这套组合拳让搜索能力从Sequential训练后的44.9分回升到53.7,数学能力（AIME26）也从10.21分回升到21.25分。
**第二条路,叫自蒸馏微调（SDFT，Self-Distilled Fine-Tuning）**
这个思路更直接:既然独立训练的"专家模型"在各自领域表现最好,那就让这些专家先各自跑一遍任务,把它们生成的高质量答案（论文里叫轨迹,trajectory,指模型从接收问题到给出最终答案的完整交互过程）收集起来,严格过滤掉质量不达标的样本,再拿这批"精华数据"去微调那个已经"什么都学过一遍、但什么都没学精"的模型。
这个做法有点像请了四位不同领域的金牌讲师,把他们各自最经典的教案汇编成一本合集,再给学生反复研读。结果确实立竿见影,搜索能力的恢复效果非常亮眼,单跳搜索准确率提升到55.6,多跳搜索提升到38.0,都比另外两种方法表现更好。但代价也很明显:电商任务的表现从46.3掉到21.7,指令遵循的成绩更是从84.8暴跌到53.6。研究者进一步分析发现,这种方法产生的参数变化幅度,是强化学习类方法的3到7倍,属于一种"大开大合"式的改造,容易把之前调好的其他能力一并推翻。
值得一提的是,研究者还专门做了对照实验,来验证SDFT里的两个细节到底有没有讲究。一个是用来做微调的底座模型该选哪个,是选"从零开始的基础模型",还是选"已经走完四个阶段、身上带着各种训练痕迹"的最终模型?结果发现后者效果更好,因为它已经携带了自己在这条训练路径上积累的能力偏好,更容易和新灌注的数据融合。另一个细节是不同任务的数据在微调时该怎么配比,是按数据量的自然比例随机混合,还是强制让每个任务数据量均等?实验证明强制均衡效果更稳定,因为这样能避免某个数据量特别大的任务在梯度更新时"独霸话语权",压制住其他任务的学习信号。
**第三条路,叫模型融合（Model Merging，MM）**
这条路最省事,压根不需要额外训练。既然已经有了四个阶段的模型权重,那就直接把它们的参数按某种比例加权平均,合成一个新模型。
这就好比把四个人的意见简单取平均值,当作最终决策。问题是,如果这四个人的意见本来就存在根本性冲突（就像前面PCA分析揭示的那样,不同任务的参数更新方向本来就不太一致）,取平均值往往谁都不能完全满足。研究者做了一轮网格搜索,试了均匀平均、偏向某个任务加权等各种权重组合,发现无论怎么调,总有某些任务的表现被明显拖累。比如刻意加重"电商权重"能把电商表现拉到17.56,但同时数学分数只剩8.54,search分数也只有16.3。这个实验印证了一个朴素的道理:如果几种能力本身在参数层面存在冲突,单纯靠调权重去平衡,顶多是拆东墙补西墙,没法真正解决矛盾。
SFT和RL,一个负责教规矩,一个负责教技巧
在做完上面这些实验后,研究者还发现了一条很有意思的规律,这条规律最后直接催生了他们真正想要提出的解决方案。
他们对比了**监督微调**（SFT, Supervised Fine-Tuning,让模型直接模仿标注好的正确答案进行学习）和**强化学习**（RL, Reinforcement Learning,让模型通过反复尝试、根据获得的奖励信号自主调整策略的学习方式）在训练过程中对模型参数的改动幅度。
结果非常清晰:SFT带来的参数变化幅度,通常是RL的3到7倍。而且不管是从"零基础模型"出发,还是从"已经走完全部阶段的模型"出发,只要用同样的自蒸馏数据做SFT,两次训练得到的参数更新方向,相似度高达0.77,远高于两个不相关任务之间只有0.05的相似度。这说明SFT这种训练方式,某种程度上是被数据本身主导的,不太挑起点在哪里。而RL则完全不同,它产生的参数改动幅度很小,而且和起始模型的状态紧密相关,属于那种"就地小修小补"的风格。
研究者还专门做了个实验验证SFT到底扮演什么角色。他们尝试跳过SFT,直接对搜索任务做强化学习,结果模型很快就开始输出格式错误的回答,而且回答被截断的比例持续走高。这说明如果一个模型压根没学过"这个任务该怎么开口说话、该按什么格式调用工具",直接上强化学习,它连基本的游戏规则都不懂,强化学习自然无从下手。
这两个实验合在一起,指向了一个清晰的结论:SFT像是教一个新员工"公司的基本规章制度和工作流程",让他先知道该怎么填表、怎么走审批,这一步覆盖面广但相对粗糙;RL则像是这个新员工上岗之后,通过一次次实际处理业务、拿到反馈,逐渐打磨出的那种熟练判断力,这一步改动幅度小,但精准有效。如果没有前面的规章制度打底,新员工连基本流程都走不通,后面的经验积累也无从谈起。
MLE:把"公共知识"和"个人绝活"分开存放
基于以上所有发现,研究者提出了他们自己的解决方案,叫**低秩专家混合**（MLE, Mixture of Low-Rank Experts）。
这个方案的设计思路,其实是把前面三条路的优点拼在了一起。
第一步,用SDFT快速把四个领域的高质量轨迹数据汇总起来,训练出一个"公共能力底座"。这一步的目的是让模型先掌握所有任务的基本套路和共通的知识,类似前面说的那种"规章制度"培训。
第二步,把这个底座模型的主体参数冻结住,不再改动,然后给每个任务单独装一个**LoRA**（Low-Rank Adaptation,低秩适配器,一种只需要训练极少量额外参数、就能让大模型适配新任务的高效微调技术,可以理解成给模型加装一个小巧的"专用插件")适配器,分别用强化学习针对各自的任务环境做精调。
这个设计的巧妙之处在于,它让"共性知识"和"个性专长"物理分离开。公共底座负责承载所有任务都用得上的基础能力,而每个LoRA插件只负责处理自己那个领域里的细节判断,插件之间互不干扰,谁也不会覆盖谁的参数。
这就好比一家连锁餐厅,总部统一培训所有员工基本的服务礼仪和卫生规范(这是共享底座),但川菜师傅和粤菜师傅各自还带着自己的独门配方本(这是各自的LoRA插件),互不冲突。哪怕后面又新开了一家火锅店要培训新师傅,也只需要给这位师傅单独发一本火锅配方,完全不需要动老员工手里的配方本。如果不这样拆分,而是让所有厨师共用同一本菜谱不断往里改写,新菜系加进来的时候,老菜系的做法迟早会被改得面目全非。
推理阶段,系统会根据当前所处的任务环境(比如是在处理搜索请求还是电商对话)自动路由到对应的LoRA插件,不需要额外标注这是哪个具体的基准测试或者提前知道任务标签。
数据说话:MLE到底行不行
说了这么多设计思路,最终还是要看数字。研究者做了一张覆盖全部方法的对比表,下面挑几个关键指标说说。
在数学能力AIME26上,原始的Sequential训练后只剩10.21分,而MLE恢复到21.04分,几乎是原来的两倍。
在搜索任务的NQ数据集上,Sequential训练是33.5分,MMOPD能到45.2,SDFT能到48.3,而MLE达到了49.7,是这几种方法里最高的。
在多跳搜索这项相对更难的能力上,Sequential只有25.0分,MLE做到了38.6分,同样是所有方法里表现最好的。
电商任务的τ?-Retail指标上,Sequential是29.6,MMOPD是27.7,SDFT只有22.3,而MLE达到了32.9,不仅超过了三种对比方法,甚至比只专精电商的独立专家模型（33.2）还要接近。
指令遵循IF-Eval上,MLE拿到85.0分,略高于Sequential的84.8,基本没有损失。
更值得关注的是跨域泛化能力的表现。在GPQA这个没有专门训练过的通用推理测试上,MLE拿到42.4分,是所有方法里最高的。在单跳搜索、多跳搜索、以及τ?-Mock这个陌生电商场景上,MLE同样拿到了最高分。这说明MLE带来的好处不只是"记住了训练过的东西",还真的在一定程度上帮模型学会了更普适的能力,能够迁移到没见过的新场景里去。
写在后面
读完这篇论文,最让我意外的其实不是MLE这个方案本身,而是那个"熵分层"的发现。
一开始我以为遗忘是一种弥漫性的、模糊的退化,就像记忆随着时间慢慢褪色。但研究者的实验数据把这个想象打碎了。94%的位置几乎纹丝不动,真正的战场只在那6%的高熵决策点上。这意味着遗忘根本不是"记忆力变差了",而是"判断力在关键岔路口被重新洗牌了"。这个发现对我来说有点颠覆认知,因为它说明模型的知识存储其实比我们想象的更"结构化",不是一锅粥式的混合,而是有明确的可以定位的薄弱环节。
还有一个细节我觉得值得单独拿出来说。研究者验证"参数更新方向是否只是训练顺序造成的巧合"这一步,做得特别扎实。他们没有满足于观察到Sequential训练里各阶段模型互相冲突,而是额外去训练了完全独立的四个专家模型,证明即便抹掉训练顺序这个变量,任务之间的冲突依然存在。这种"排除干扰变量"的严谨态度,让整篇论文的结论站得更稳。
这篇论文也留下了没解决的问题。MLE依赖"环境上下文"来判断该路由到哪个专家,论文自己也承认,如果场景是模糊的、或者一次对话里需要同时用上好几种能力,这套路由机制还没经过测试。这让我忍不住想,未来的智能体是不是也需要一种"随时切换人格,又能无缝协作"的能力,就像一个人既懂财务又懂设计,遇到需要跨界的项目时,能自然地把两种技能捏合在一起用,而不是生硬地切换模式。这条路目前看起来,还早得很。
Q&A
Q1：ACLArena是什么？
A：ACLArena是UCLA等机构提出的一个研究框架,专门用来系统研究AI智能体在多阶段训练中"学新忘旧"的遗忘现象,并测试多种解决方案的实际效果。
Q2：为什么AI智能体学了新技能会忘记旧技能？
A：研究发现不同任务会把模型参数往不同方向调整,这些方向只是部分重合而非完全一致,后续训练会覆盖之前学到的关键判断能力,尤其集中在模型原本就"拿不准"的高不确定性决策点上。
Q3：MLE方法相比其他方案有什么优势？
A：MLE通过SDFT训练出一个共享能力底座,再给每个任务配备独立的LoRA专家插件分别做强化学习,实现了公共知识和专属技能的分离存储,在多项测试中既保住了各领域能力,又提升了跨域泛化表现。
