你有没有想过一个很奇怪的现象:你给AI助手一份新API文档,它立刻就能照着文档写出能跑的代码,表现得像个资深工程师。可是只要你关掉这个对话窗口,下次再问它同样的问题,它又变回了那个什么都不知道的新手。
这听起来有点荒谬,但这正是当前大语言模型最尴尬的处境之一。
它们能在当下用好一份资料,却没办法把这份资料"学会"。每一次对话,都是一次从零开始的临时抱佛脚。
浙江大学和字节跳动Seed团队联合发表的论文《Cortex: Consolidating Context into Parametric Memory》,想解决的正是这个问题。他们给这件事起了个很有生物学味道的名字:记忆巩固。
先搞清楚:到底哪里出了问题
想象你是一名刚入职的客服,公司给你发了一本产品手册。你翻完手册之后立刻能接电话、回答客户问题,表现得很专业。可是一旦公司把手册收走,你立马把刚才学的东西忘得一干二净,下一个客户打进来,你又得从头翻手册才能回答。
这就是现在大语言模型的真实处境。
研究者把这种现象定义为"上下文差距"(context gap):模型在拿到相关资料(也就是上下文)时的表现,和没有这份资料时表现之间的差距。
> 上下文(Context):临时提供给AI的背景资料,比如一段API文档、一条新事实、一份行为指令。模型可以在对话中利用它,但对话结束资料就"消失"了,不会变成模型参数的一部分。
论文里给出了一个特别直观的例子:如果上下文里写着"A是B的父亲",那么"谁是B的父亲"这类问题就是需要通过上下文改变答案的"目标问题",而"A叫什么名字"这类问题则是不应该被这段上下文影响的"保留问题"。模型理想状态下应该做到:目标问题答对了,保留问题也没被带偏。
这个差距不是小打小闹的技术瑕疵,它直接关系到一件更大的事:AI能不能像人一样积累经验。
人类的学习靠的是一套叫作"互补学习系统"(complementary learning systems, CLS)的大脑机制。海马体负责快速记录新鲜经历,然后在睡眠中反复"回放"这些经历,让大脑皮层慢慢把它们编织进长期知识网络里,既不会丢掉旧知识,也不会被新信息冲昏头脑。论文开篇就用这套理论做类比,提出了一个核心问题:能不能让大语言模型也拥有类似的"睡眠巩固"过程,把临时的、依赖上下文的能力,转化成写进参数里的永久能力?
这就是"记忆巩固"(Memory Consolidation,简称MC)要回答的问题。
记忆巩固到底要求什么
研究者没有满足于一个模糊的目标,而是给出了严格的数学定义。
给定一个模型M和一段对它有明显帮助的上下文C,记忆巩固要找到一个新模型M',这个新模型在不接触C的情况下,依然能在目标问题上保持原本靠C才能达到的水平,同时不能破坏模型在其他任务上原有的表现。
这里引入两个关键指标。
> 巩固率(Consolidation Rate, CR):衡量模型在去掉上下文后,到底保住了多少"原本靠上下文才能拿到的提升"。CR等于100%意味着提升被完整保留,超过100%则说明巩固后的表现甚至比临时用上下文时还要好。
>
> 保留率(Retention Rate, RR):衡量模型在那些不该被改变的任务上,表现有没有被破坏。RR等于100%意味着原有能力完全没受影响。
如果用客服培训的比喻来说,CR衡量的是"收走手册之后,你还记得多少培训内容",RR衡量的是"你学新东西的过程中,有没有把以前会做的其他工作搞砸"。
这两个指标天然存在张力:如果你拼命往脑子里塞新东西,很可能挤占了旧知识的位置;如果你小心翼翼不破坏旧知识,新东西又记不牢。论文把这种此消彼长的关系叫作"巩固-保留的帕累托前沿",意思是在给定条件下,CR和RR能同时达到的最好组合构成了一条边界,所有方法都在这条边界内外博弈。
值得一提的是,研究者还区分了三种更新场景:一次性更新(单个上下文)、批量更新(一次性吃进多个上下文)、以及顺序更新(上下文一个接一个到来,而且早期的上下文在后续更新时已经不可复现)。这最后一种顺序场景,最接近真实世界里知识不断累积的情况,也是整篇论文里最硬核的实验部分。
Cortex的三个设计问题
面对这个目标,研究团队提出了Cortex方法,围绕三个问题展开设计:该学什么、该在哪里改、该怎么改。
### 该学什么:让模型自己预演未来会怎么用这段知识
这是整个方法里最有意思的一步。
直觉上,最简单的做法是直接把上下文内容塞给模型做微调,让它"背下来"。但研究者没有这么做,他们借鉴了认知神经科学里的一个发现:人类记忆不只是用来"存档"的,它更重要的功能是帮我们想象和模拟未来可能发生的情况。
> 前瞻性预演(Prospective Rehearsal):Cortex 让模型(在更新之前的版本)根据当前的上下文,自己生成一批"未来可能会被问到的问题",再针对这些问题生成带着上下文支持的答案,用这些自问自答的材料作为训练数据。
换句话说,Cortex不是让模型死记硬背文档内容,而是让模型先"预演"一遍:"如果有人拿着这份API文档来问我问题,他可能会问什么?"然后模型自己生成这些问题和对应的答案,再拿这些自产自销的问答对去训练自己。
这里有个细节特别值得琢磨:为什么要用模型自己生成的答案,而不是找一个更强的外部模型(比如GPT-4)来生成标准答案?论文在附录里专门做了对照实验。结果是自己生成答案的效果明显更好:在GPT-OSS-20B的编辑任务上,用外部模型生成答案后,效能分数从89.5%暴跌到21.4%,MMLU这种通用能力的保持率也从75.8%跌到15.9%。
这件事其实很好理解。如果你让一个说话风格朴素的人突然去模仿莎士比亚的台词来学习新知识,他学到的不是知识本身,而是在努力适应一种陌生的语言风格,知识反而学得更差,而且很可能把自己原本说话的方式也带偏了。模型也是一样,用自己习惯的"口吻"生成答案,训练时需要跨越的"语言鸿沟"更小,学习效率更高,对原有能力的伤害也更小。
对于像ALFWorld(一个家庭环境里的具身智能体任务)和τ?-Bench(客服对话任务)这种需要和环境真实交互的任务,Cortex做了调整:问题由环境直接提供,模型生成的则是一整条完整的"行动轨迹",只保留那些成功完成任务的轨迹用于训练,失败的轨迹会被过滤掉。
### 该在哪里改:FFN是大脑皮层的类比对象
选定了"学什么"之后,下一个问题是改动模型的哪一部分参数。
Transformer模型里有两大核心组件:负责信息检索和关联的注意力层(Attention),以及负责"消化加工"这些信息的前馈网络层(FFN)。
> 前馈网络(Feed-Forward Network, FFN):Transformer模型中每一层里负责非线性变换的模块,此前已有研究发现它在结构上很像一个键值对存储系统,承担着存储事实性知识的重要功能。
Cortex选择只改动FFN,完全不碰注意力层。论文给出了两种具体的改动方式,灵感直接来自大脑里两种不同的突触可塑性机制。
> 突触式更新(Synaptic):在FFN原有的权重矩阵上,叠加一个低秩的增量矩阵(类似LoRA的做法),原始权重保持冻结不动。这对应大脑里"已有突触连接的强度被增强"这种可塑性。
>
> 结构式更新(Structural):在FFN旁边新增一组非线性通道,原始权重块完全不改动,新知识存放在新增的通道里。这对应大脑里"长出全新的树突棘,建立此前不存在的连接"这种可塑性。
论文里有一张图特别生动,画的是神经元突触的显微示意:左边是"增强现有突触"(对应突触式更新),神经递质释放增多,接收端的蓝色结构变大了;右边是"长出全新的树突棘"(对应结构式更新),一根全新的分支从一个神经元伸向另一个神经元,建立了原本不存在的连接。这两张图放在方法图的最上方,清楚地告诉你这套方法论的灵感来源不是凭空设计的。
这里有个很实际的问题:只改FFN、完全不碰注意力层,会不会限制了模型的学习能力?论文用一组消融实验直接回答了这个问题。研究者对比了"只改FFN"和"FFN加注意力层一起改"两种方案,在相同的秩(也就是参数预算大致相当)的前提下进行测试。结果是只改FFN的方案反而在CR和RR两个指标上都更好。比如在持续编辑任务里,只改FFN的方案CR是79.6%、RR是91.0%,而加上注意力层之后CR掉到75.8%、RR掉到87.0%。
这就像你想让一个厨师学会一道新菜,你可以只教他新的炒菜手法(对应FFN),也可以同时要求他重新调整整个味觉判断系统(对应注意力层)。表面上看,调整味觉系统似乎能让他学得更全面,但实际上这会把他原本判断咸淡的直觉也一起打乱,反而炒不好新菜,还可能把老菜也炒砸了。只改变具体的操作手法,保留住原有的判断基础,反而学得又快又稳。
### 该怎么改:用"蒸馏"把上下文里的智慧压进参数
确定了改什么地方之后,最后一个问题是具体的训练目标该怎么设计。
Cortex采用的是一种叫作"上下文到记忆蒸馏"(context-to-memory distillation)的方法。简单说,就是让一个"看得到上下文的老师模型"去教一个"看不到上下文的学生模型",让学生模型的输出尽可能逼近老师模型的输出。
这里的老师模型,恰恰就是更新之前的原始模型本身,不需要额外找一个更强的外部模型来当老师。这个设计挺巧妙的,相当于让模型自己教自己,而不是依赖一个更昂贵、更难获取的外部教师。
具体的训练信号由两部分组成:一部分是输出层面的,衡量学生模型和老师模型对下一个词的预测分布之间的差异(用KL散度衡量);另一部分是中间表示层面的,衡量两个模型在FFN层输出之后的隐藏状态之间的差异(用均方误差衡量)。
> KL散度(Kullback-Leibler Divergence):一种衡量两个概率分布之间差异程度的数学工具,这里用来衡量学生模型预测的下一个词概率分布,和老师模型预测分布之间差了多远。
>
> 隐藏状态对齐(Hidden-State Alignment):除了让最终输出一致,Cortex还要求模型内部每一层处理信息之后的中间结果也尽量对齐,这相当于不仅要求学生模型给出正确答案,还要求它的"思考过程"也和老师接近。
为什么要专门对齐中间状态,而不是只盯着最终输出?论文在附录里给出了一个理论分析:把上下文拿掉之后,注意力层的输出会发生变化,而这种变化理论上可以通过调整FFN参数来精确补偿。换句话说,中间状态的对齐,相当于给新增的FFN参数提供了一个非常具体的"修正目标":你要弥补的,正是去掉上下文之后注意力层那部分缺失的信息。
论文里甚至给出了一个数学定理,证明在满足一定条件下,只要新增的通道数量足够,结构式更新理论上可以在有限个状态点上精确匹配任意的目标修正量。这给这套方法提供了一个坚实的理论支撑,不是纯粹拍脑袋的工程方案。
消融实验显示,加入隐藏状态对齐之后,保留率普遍会提升,但对巩固率的影响因改动方式而异。比如在持续编辑任务里,突触式更新加上隐藏状态对齐后RR提高了2.7个点,但CR反而下降了4.0个点;而结构式更新加上对齐之后,CR和RR两个指标都同时提升了。这说明中间状态对齐这件事,并不是无脑加上就一定好,它和具体用哪种参数更新方式是绑定在一起考虑的。
顺序学习50个事实:真正的考验
前面讲的都是单次或批量更新,论文里最硬核的实验是持续编辑场景:在Qwen2.5-14B-Instruct模型上连续喂入50条新的事实性更新,每一条更新之后都要评估模型对所有已学过的事实还记不记得,同时监测通用能力有没有被破坏。
对照组包括FT-M、ROME、MEMIT、AlphaEdit、WISE这几种专门为知识编辑设计的方法。结果非常悬殊。
经过50次连续编辑之后,Cortex的结构式更新方案最终巩固率达到88.9%,保留率高达99.8%;而对照组里表现最好的ROME最终巩固率只有28.5%。差距超过60个百分点。
更关键的是参数效率。Cortex每次更新只新增0.74M个参数(结构式更新的最小配置),而AlphaEdit和MEMIT这类方法每次更新要改动353.9M个参数,差了接近500倍。
这个数字差距意味着什么?意味着Cortex用不到传统方法五百分之一的参数改动量,换来了三倍以上的记忆保持效果。
论文还做了一项特别细致的分析,追踪最早写入的10个事实,看它们在经历了多达40次后续更新之后还记不记得。结果显示,结构式更新在经过40次后续编辑后,依然保持97.2%的平均巩固率;突触式更新则是92.6%。这说明Cortex不是靠"刚学完立刻测试显得厉害"投机取巧,而是真的能把知识长久地留在参数里,哪怕后面又塞进去几十条新知识。
这里还有个很直观的侧面证据,论文统计了模型生成答案时"异常终止"的比例,也就是模型因为陷入重复或者答案太长被强制截断的情况。在50次编辑之后,Cortex的结构式更新方案异常终止比例是0%,突触式更新是0.8%,而传统方法FT-M、ROME、MEMIT、AlphaEdit的异常终止比例都在86%到91%之间。
这个数字背后藏着一个很朴素的事实:当一个模型被连续塞进去几十次"硬改参数"的编辑之后,它很可能已经被改得有点语无伦次了,答案说着说着就开始跳针重复,或者滔滔不绝停不下来。而Cortex因为改动范围被严格限制在新增的小块参数里,模型整体的语言生成能力几乎没有受到破坏,所以答案依然流畅、能正常收尾。
这就好比给一台精密仪器做维修,有的维修方式是把核心线路板整个拆开重新焊接,修好了这个毛病,但仪器其他地方开始出现莫名其妙的故障;另一种维修方式是只在旁边加装一个小的补丁模块,不碰原有线路,问题解决了,仪器其他功能照常运转。Cortex显然选择了后一种思路。
MoE模型里的"共享专家"设计
论文还特别处理了一个现实问题:现在很多大模型用的是混合专家(Mixture-of-Experts, MoE)架构,也就是模型内部有很多"专家子网络",每个输入只会激活其中一小部分专家。那在这种架构下,Cortex该怎么加新参数?
> 混合专家架构(MoE):模型内部包含多个并行的"专家"子网络,每次处理一个输入时,由一个路由器决定激活哪几个专家来处理它,而不是让所有专家都参与计算,这样可以在增加模型总参数量的同时控制实际计算量。
一个直观的做法是:每个专家都单独配一份新增参数,各自训练。但Cortex没有这么做,它选择让所有专家共享同一份新增的扩展参数,这组共享参数对每一个token都会参与计算,不受路由决定影响。
这个设计差异导致的结果很有意思。研究者做了对照实验,发现在同样的总参数预算下,共享方案在ALFWorld任务上的CR比独立方案高4.6个百分点,在代码任务上高出10.3个百分点。
为什么会这样?论文给出的解释是"训练暴露度"的问题。独立专家方案里,每个专家的新增参数只有在这个专家被路由选中时才会收到训练梯度,如果某个专家很少被选中,它的新参数几乎学不到东西。研究者统计发现,在ALFWorld任务里,768个"层-专家"组合中有32个组合的token曝光量低于该层平均水平的1%,几乎相当于"从没真正上过课"。而共享方案因为每个token都会经过,相当于所有参数时刻都在接受训练信号,学习效率自然更高。
这就像一个大公司里,如果把培训资源按部门分配,某些冷门部门一年到头也轮不上几次培训机会,技能自然跟不上;但如果设立一个所有部门共享的核心培训中心,每个人都能持续获得锻炼,整体水平反而更均衡。
五大任务测试台:不只是改事实这么简单
Cortex不只测试了知识编辑这一种场景,研究团队专门搭建了一个覆盖五大任务家族的测试平台,涉及声明性知识、程序性知识、行为控制三大类记忆类型。
这五类任务分别是:智能体经验巩固(让模型从过去的交互经验里学会更好的操作策略,测试平台是ALFWorld和τ?-Bench)、新API学习(让模型学会使用一个它从没见过的Python库,评测集特意挑选了2025年11月到2026年2月之间发布的全新代码库,确保模型此前绝不可能接触过)、人格引导(测试一种行为倾向能不能在去掉指令后依然保持,比如"权力倾向"或"反社会人格倾向"的行为模式)、知识抑制(让模型学会对特定实体的问题拒绝回答,用的是RWKU数据集里模型确实熟悉的真实人物)、以及最经典的事实编辑。
在这些任务的批量和单次设置里,Cortex在大多数场景下都站在了"巩固率-保留率"这条帕累托前沿上,也就是说在给定的保留表现下,它能拿到的巩固率几乎是最高的,反过来也成立。
有几个发现特别值得拿出来说。
第一个是超网络方法(通过一个网络直接从上下文生成适配参数,不需要梯度训练)在单条知识上表现很好,但一到批量场景就直接崩盘。比如SHINE这个方法在某些批量代码任务上甚至表现得比完全不做任何改动的原始模型还差。
第二个是"测试时训练"方法(不依赖存储的上下文,直接在测试时做轻量调整)普遍保留率很高,但巩固率低得可怜。比如LoCAS和δ-Mem在两个批量代码任务上保留率都在98%到101%之间,但巩固率只有-9%到11%,几乎等于没学到东西。这说明一件事:没破坏原有能力,不等于真的学会了新东西,这是两件不一样的事。
第三个很反直觉的结果是:Cortex巩固出来的经验,有时候表现甚至超过了直接把上下文塞进去用。在Qwen2.5模型的ALFWorld测试上,Cortex巩固后的成功率CR达到128%到133%,比直接提供上下文的87%还要高。这说明"背熟了"有时候比"临时翻书"效果更好,因为巩固过程把零散的经验信息提炼、浓缩成了更直接可用的决策模式,而不只是简单复述文档内容。
还有一个有点意外的发现:上下文越长,不代表越难巩固。论文对比了不同长度的上下文巩固效果,599个token的知识抑制任务、809个token的事实编辑任务、5152个token的API学习任务,巩固率分别是35%到57%、89%到91%、66%到74%。最短的上下文不是最容易学的,最长的也不是最难学的。决定巩固难度的,是这段上下文要求模型做出什么样的行为改变,而不是简单的文字长度。
写在后面
读完这篇论文,最触动我的不是哪个具体的数字,而是研究者选择用生物学作为设计出发点这件事本身。
现在大多数模型编辑的研究,走的都是纯工程优化的路子:怎么让损失函数更小,怎么让更新速度更快。Cortex这篇论文的思路不太一样,它先去问"人类大脑是怎么把短期记忆变成长期记忆的",然后把海马体快速编码、睡眠中反复回放、大脑皮层慢慢吸收这套机制,翻译成了"预演问题、蒸馏训练、FFN参数更新"这套具体的技术方案。这种从生物学倒推工程方案的路径,本身就是一种挺少见的研究范式。
还有一处细节让我印象很深:论文专门用数学方式证明了结构式更新在理论上可以精确实现任意的修正目标,这不是一句"实验证明有效"就打发过去的,而是真的给出了严谨的证明。这让整篇论文多了一层踏实感,它不只是"试出来有效",而是"想清楚了为什么有效"。
论文结尾处提出了一个还没完全解决的问题:当前的结构式更新虽然能不断新增参数来容纳新知识,但新增的参数永远只会越来越多,不会被压缩和整理。这就像一个人的大脑如果只会往外扩张存储空间,而从来不会在睡眠中整理、归并那些重复或过时的记忆,长期下去效率一定会出问题。研究者提出未来可以探索"扩张之后再整理压缩"的循环机制,但这件事眼下还没有答案。
一个真正会学习的系统,或许不只是要会"记住",还要会"遗忘该遗忘的,整理该整理的"。这大概才是通往真正意义上"持续学习"的下一道门槛。
Q&A
Q1:Cortex和传统的知识编辑方法(比如ROME、MEMIT)有什么区别?
A:传统方法通常针对单一事实编辑场景专门设计,而Cortex把知识编辑、技能学习、行为引导、知识抑制统一成一个框架,通过让模型自己预演问题并用蒸馏方式训练新增的FFN参数来实现。在持续编辑50个事实的测试中,Cortex最终巩固率达到88.9%,远超ROME的28.5%,而且每次更新只需改动不到1M参数,远少于传统方法的数百M参数。
Q2:Cortex为什么只改动FFN层而不改注意力层?
A:论文的消融实验显示,只改FFN层反而比同时改注意力层效果更好,在持续编辑任务中CR和RR都有明显提升。这是因为FFN层在Transformer中起着类似"键值存储"的记忆作用,专注改动这部分既能学到新知识,又不会打乱注意力层原本负责的信息检索和关联能力,减少了对模型原有能力的破坏。
Q3:Cortex的结构式更新和突触式更新哪个更好?
A:两者各有优势,没有绝对的更好。结构式更新在代码类任务和需要组合推理的场景(比如可移植性测试)上表现更强,且参数量更小;突触式更新在部分事实编辑任务上巩固率略高。论文建议根据具体任务场景选择,整体上结构式更新在持续学习场景下表现出更强的长期记忆保持能力。







