Token导航 LogoToken导航

AI 资讯 · 科技行者

混合架构大模型两种记忆机制冲突

更新 2026-11-22科技行者正文 6461字阅读约 21分钟

2026 年前后,如果你去翻开几家顶尖 AI 公司的技术报告,会发现一个共同的选择:Kimi K3、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron-3-Ultra,这些叫得上名号的大模型,几乎都用上了同一种架构套路,把线性循环层和传统的 softmax 注意力层混在一起用。

这事儿听起来挺技术,但背后的逻辑其实很朴素。

softmax 注意力*:Transformer 里最经典的信息混合方式,每个词在生成时都要回头看一遍前面所有的词,计算量会随着文本长度平方级增长,但检索精度很高。

线性循环层*:包括状态空间模型(SSM)和线性注意力这类机制,它们不回头看所有历史,而是把过去的信息压缩进一个固定大小的"状态"里,计算量只随长度线性增长,速度快很多,但检索能力天生打折扣。

简单说,softmax 注意力记性好但费脑子,线性循环层脑子转得快但记性一般。把两者混在一起用,听起来像是优势互补的好主意。无数论文也确实发现过,模型训练好之后,确实会出现分工,一部分注意力头专门负责长距离抓取信息,另一部分循环层负责处理眼前的短距离细节。这种分工被称为检索头的自然涌现。

但问题来了。这种分工是自然而然就会发生的吗,还是说,它其实是一场看不见的竞争,而竞争的结果未必对模型有利?

清华大学的研究团队给出了一个让人意外的答案:这场竞争确实存在,而且在大多数标准训练流程下,输的那一方往往是我们最希望它赢的那一方,也就是 softmax 注意力。

**

**

一场谁都没注意到的内部竞赛

要理解这篇论文的核心发现,得先回到一个很直觉的问题:如果一个模型里既有线性循环层又有注意力层,它们各自要去学会处理长距离信息检索这件事,会不会互相干扰?

研究者把这个现象叫做竞争学习*:在混合架构的预训练过程中,循环层和注意力层都有能力学会从上下文里检索信息。如果其中一类层先学会了,它就会把对应的预测误差降下来,这样一来,另一类层得到的训练信号就变弱了,学习速度也跟着被拖慢。

这就好比一个班级里有两个学生要共同完成一道题的订正。老师布置的作业是全班一起对答案,只要有一个人先举手答对了,老师就不会再追问别人,这道题目的"学习信号"也就消失了。如果学得快的那个学生每次都抢先举手,另一个学生即便本来更有潜力把这道题型彻底弄懂,也永远没有机会被逼着去思考。时间长了,这个学生在这类题目上会越来越弱,不是因为他笨,而是因为他从来没被迫真正练习过。

如果不存在这种竞争机制,两类层应该是各自独立地、按照自己的节奏学习检索能力,谁强谁弱全看架构本身的天赋。但研究发现事实并非如此,一层的学习进度会直接压制另一层的学习进度,这是一种此消彼长的零和博弈,而不是各自为政的独立发展。

为了把这个抽象的现象变成可以观察、可以量化的东西,研究团队设计了一个干净的实验场。

一个专门用来测谎的任务

他们造了一个叫做"间隔检索"(Spaced Retrieval)的合成任务,格式长这样:先给模型一串数字,比如 12345,然后插入一大段无关的空格占位符,隔了很远之后再问模型,刚才那串数字是什么。

这个任务故意设计得很简单,没有语法、没有语义,纯粹考验模型能不能跨越一段距离把信息原封不动地捞回来。研究者可以调节这段"距离"的长短,短的只隔 64 个位置,长的隔了 8192 个位置,用来模拟短距离模式和长距离模式在真实语言里出现的比例差异。

光有任务还不够,研究者还得想办法知道,模型里具体是哪一层在负责完成这次检索。

于是他们发明了一套层级归因打分法。思路是这样的:拿两份几乎一模一样的输入,唯一的区别是要被记住的那个数字不同,一份记的是"1",另一份记的是"9"。让模型分别处理这两份输入,到了某一层的时候,把这一层处理"9"那份输入时产生的输出,强行替换进处理"1"那份输入的计算流程里,看看模型最终给出的答案会不会因此发生动摇。

如果替换之后,模型本来该说"1"却开始偏向说"9"了,说明这一层在检索这件事上权重很大,换句话说,它是真的在干活。如果替换完全没影响最终答案,说明这一层对检索这件事根本不在乎,它的职责在别处。

这套方法有点像在一条生产流水线上,悄悄把某个工位的半成品换成别的批次的东西,看看成品会不会出问题。如果换了之后成品立刻露馅,说明这个工位是关键工序;如果换了也没人发现,说明这个工位根本无关痛痒。不这样做的话,我们就只能笼统地说"模型整体检索能力强不强",却永远不知道具体是哪一层在立功,也就没办法针对性地做任何干预。

实验数据怎么说话

研究团队训练了一批只有 360 万参数的小型混合模型,两层 KDA(一种流行的线性循环架构)加两层注意力,专门跑这个间隔检索任务。

Kimi Delta Attention (KDA)*:一种被 Kimi K3、GLM-5.3-Flash 等前沿模型广泛采用的线性循环架构,通过门控机制来决定保留多少历史信息。

不加任何干预的情况下,实验结果相当直白:KDA 层很快就在检索能力上占了上风,注意力层的检索分数始终被压得很低,几乎没怎么涨起来。

这时候研究者做了一个关键动作:在训练进行到某个时间点时,把 KDA 层的参数冻结住,让它不再更新,同时继续训练注意力层。

结果立刻就不一样了。注意力层的检索能力在冻结发生的那一刻起,开始陡峭上升。而且冻结得越早,注意力层最终能达到的检索水平就越高;冻结得晚了,注意力层依然会被 KDA 层压制。研究者还做了更细致的实验,先冻结 KDA,训练一段时间之后再解冻它,看看会发生什么。

结果出现了一个有意思的分叉点:如果冻结发生得足够早(大约在第 125 步之前),一旦后来解冻 KDA,注意力层已经建立起来的优势会继续巩固,反过来把 KDA 压制住;但如果冻结发生得太晚,优势还没真正建立起来,一旦解冻,注意力层立刻又被 KDA 反超了。这种结果几乎是立刻发生的,解冻之后没多久曲线就开始分道扬镳。

这背后其实对应着一种自我强化机制。研究者进一步检查了梯度的变化情况,发现在冻结 KDA 期间,注意力层收到的梯度范数会逐渐放大,最高能达到没有冻结时的 10 倍左右。而且这个放大过程是渐进的,不是突然跳变的,说明这不是什么简单的参数清零把戏,而是整个优化过程在悄悄地把学习资源重新分配给当下更有潜力的那一方。一旦解冻 KDA,这种梯度放大效应立刻就会被削弱。

这就像一场拔河比赛,一开始哪边先稍微占了点上风,裁判(也就是优化过程本身)就会不自觉地给这边加油鼓劲,这边的力气反而会越拔越大,而另一边因为迟迟使不上劲,力气反而逐渐萎缩。如果不进行人为干预,先发优势会被不断放大,最终形成赢家通吃的局面,而这恰恰是研究者想要避免的结局,因为他们希望的是两边各展所长,而不是一方彻底压制另一方。

为什么 KDA 总是先手

那么问题来了,为什么是 KDA 先赢,而不是注意力层先赢?

研究者给出了一个很直接的解释,和 KDA 的架构设计本身有关。KDA 的遗忘门在初始化时数值偏低,这意味着模型刚开始训练时,天然就倾向于保留最近的信息,而让久远的信息迅速衰减掉。这是一种写进骨子里的短距离偏好。

研究者还专门做了一组实验,调节训练数据里短距离样本和长距离样本的比例,看看这个比例怎么影响最终谁赢谁输。结果很清晰:当长距离样本占绝对主导时,注意力层会成为检索能力的主力;但只要短距离样本不是少数派,KDA 几乎总能抢占先机。

这个发现放在真实世界的语言数据里,意义就更大了。此前已有语言学研究表明,自然语言中,短距离的依赖关系(比如相邻词语的搭配)远比长距离依赖(比如段落开头和结尾的呼应)更常见。这意味着,在用自然语料直接训练混合模型时,大概率会复现实验室里观察到的现象,KDA 先一步学会短距离的"检索",进而压制住注意力层本该承担的长距离检索职责,造成分工失衡。

这个问题在纯 Transformer 架构里反而不存在,因为所有层都是同一种结构,天赋起点一样,不存在谁先手谁后手的架构性差异。混合架构的"杂交优势",恰恰也成了它特有的"内耗隐患"。

一个很朴素的解决方案

发现了问题的根源,解决思路也就顺理成章了。既然 KDA 天生手快,那就在训练最开始的阶段,故意把它的手绑一会儿,让注意力层先跑一段,等它建立起足够的优势之后,再放开手让两边一起跑。

研究者把这个方法叫做 BLD(Better Layer Division,更好的层级分工)。

具体做法是,在正式大规模预训练开始之前,先安排一个小规模的热身训练阶段,大约占整体训练数据量的十分之一。这个阶段里,KDA 层的所有参数(包括混合层、MLP、归一化层)全部冻结,只允许注意力层和一些共享参数(比如词嵌入)接受梯度更新。等热身阶段结束,才解冻 KDA,进入正常的完整预训练流程,这时候两边的参数都可以自由更新。

这就像田径场上的让跑式起跑,明知道一方天生爆发力更强,干脆就让另一方先出发一段距离,等双方真正并肩竞速的时候,弱势的一方已经攒够了先发优势,不会一上来就被秒杀出局。如果不这样安排,起跑枪一响,天生速度快的那一方立刻就把差距拉开,后面的追赶基本就无望了。

研究团队把这个方法用在了从 1.8 亿到 10 亿参数规模的一系列模型上,全部基于 KDA 架构,用公开的高质量预训练语料 DCLM 来训练,同时严格对照了不采用这个方法的"原版"训练流程。

真实训练结果怎么样

效果体现在好几个维度上。

先看语言建模损失,也就是模型预测下一个词准确度的基本指标。在所有测试的模型规模下(180M 到 1B),采用 BLD 方法训练出来的模型,损失都比原版更低,而且这个优势随着模型变大依然保持,10 亿参数规模下,BLD 的损失是 2.8680,原版是 2.8744,看起来差距不大,但在语言模型领域,这种稳定的小幅提升往往意味着整体能力的系统性改善。

再看常识推理能力(CSR,涵盖 ARC、HellaSwag、PIQA 等七个经典测试集),BLD 方法在大部分规模下也略有提升,比如 10 亿参数模型从 48.69 提升到 49.45。

真正的大头出现在检索相关的任务上。在六个检索密集型任务组成的评测集(Recall)里,BLD 方法的提升非常显著,拿 250M 规模来说,原版只有 21.54 分,BLD 达到 25.33 分,提升了接近 4 个百分点,这意味着原本每答对 4 道检索题,BLD 版本能多答对将近 1 道。到了 180M 这个最小规模,差距更夸张,原版只有 10.39 分,BLD 达到 14.12 分,接近提升了 36%。

RULER*:一个专门用来评估大模型长上下文能力的基准测试集,覆盖从 1K 到 16K 不同长度的各种检索和推理任务。

在 RULER 这个专门测试长上下文能力的评测集上,差距同样明显。180M 模型从 2.84 分跃升到 8.82 分,几乎是三倍的提升;1B 模型从 32.75 分提升到 36.04 分。考虑到这个评测覆盖了从 1K 到 16K 各种长度的任务,这说明 BLD 训练出来的模型不只是在某个特定长度表现好,而是整体上更擅长处理长距离信息。

语言建模困惑度(LongPPL)方面的差距更是惊人。180M 规模下,原版的 LongPPL 是 258.47,BLD 降到了 108.64,几乎只有原来的五分之二。250M 规模下,这个差距更夸张,原版 57.22,BLD 只有 17.96,降幅超过三分之二。这个指标反映的是模型在长文本里,对那些真正需要依赖远距离上下文才能预测准确的词语,预测得有多准,差距如此之大,说明长距离信息利用能力上的改善是实打实的。

研究团队还专门做了位置相关的损失分析,把模型在 16K 长度文本里,每个位置上的预测损失画成曲线。结果显示,BLD 模型在文本靠后的位置上损失明显更低,说明它真的更擅长利用远处的上下文信息,而不是简单地在短距离内打转。

为了验证这个方法不是 KDA 架构的专属技巧,研究者还把同样的思路搬到另外两种流行的线性循环架构上,Gated DeltaNet(GDN)和 Gated Linear Attention(GLA)。结果依然一致,在 GDN 架构下,Recall 分数从 17.33 提升到 32.05,几乎翻倍;RULER 分数从 12.33 提升到 25.42,同样翻倍有余。GLA 架构下也有类似幅度的提升。这说明竞争学习这个现象,以及 BLD 这个解法,不是某个特定架构的偶然巧合,而是混合架构这整条技术路线普遍存在的规律。

亲眼看见分工发生了变化

光看数字可能还是有点抽象,研究团队还做了一组更直观的可视化分析,直接去看注意力头内部到底发生了什么变化。

他们借用了此前 DuoAttention 研究里提出的方法,给每个注意力头训练一个叫 α 的数值,这个数值代表这个头有多依赖全局上下文信息(也就是检索能力),数值越大,说明这个头越擅长长距离检索;数值越小,说明这个头主要只处理眼前的局部信息,俗称"流式头"。

在原版模型里,只有一个注意力头的 α 值明显突出,其他头的 α 值几乎都是零。这意味着整个模型里,真正承担长距离检索职责的,其实只有一个孤零零的脑细胞。而在 BLD 模型里,出现了好几个 α 值明显偏高的头,分布在不同层里,说明有更多的注意力头真正学会了专注于长距离信息的提取。

研究者还做了一个很有说服力的消融实验,按照 α 值从小到大的顺序,逐步把注意力头替换成只能看局部信息的流式模式,然后观察模型的检索准确率怎么变化。原版模型几乎是一开始就表现很差,只要把那个唯一的高 α 头替换掉,准确率立刻跌到接近零。而 BLD 模型表现得韧性十足,前面四分之三的头被替换掉都几乎没什么影响,直到最后三个高 α 值的头被动手,准确率才骤然下降。

这个现象可以这样理解:原版模型就像一个团队里只有一个人真正懂业务,其他人都是摆设,这个人一旦请假,整个团队就瘫痪了。BLD 模型则培养出了一支至少有三人的核心骨干团队,哪怕某一个人暂时不在,剩下的人还能撑住场面。如果没有刻意做这个热身阶段的干预,团队里永远只会冒出来一个孤胆英雄,剩下的人才永远得不到真正锻炼的机会。

写在后面

读完这篇论文,让我印象最深的不是 BLD 方法本身,方法说起来其实很朴素,无非是"先让一方跑一会儿再放开手"。真正让我意外的是,这种此消彼长的竞争关系,在此之前几乎没有被认真量化过。大家都知道混合架构里会出现分工,却很少有人去问:这个分工到底是自然形成的最优解,还是被先发优势意外锁死的次优结果?

还有一个细节值得单独拿出来说。研究者在解释为什么 KDA 总是先手的时候,提到的原因其实非常技术性,遗忘门初始化数值偏低,导致架构天生有短距离偏好。这是一个很容易被忽略的工程细节,但它却决定了整个模型训练过程中资源分配的走向。一个初始化参数的选择,最终演变成了模型长距离能力的系统性缺陷,这种蝴蝶效应式的因果链条,其实在深度学习里并不罕见,只是很少有人愿意花这么大功夫去追根溯源。

这件事也让我想到一个更普遍的问题:任何一个系统,只要存在多个子模块共同竞争某种有限资源(无论是梯度信号、注意力,还是团队里的话语权),先发优势都有可能被不成比例地放大,最终导致本该有的多样性消失殆尽。这篇论文给出的解法,无非是刻意制造一个"延迟赛跑"的窗口期,这个思路是不是也能用在别的领域呢?

Q&A

Q1:竞争学习现象是什么?

A:竞争学习指在混合架构大模型预训练中,循环层和注意力层都会逐渐学会从上下文中检索信息,但如果某一类层先学会了,它会降低检索相关的预测误差,从而削弱另一类层得到的训练信号,拖慢其学习速度,最终导致分工失衡。

Q2:BLD 方法具体怎么操作?

A:BLD(Better Layer Division)在正式预训练前增加一个热身阶段,约占总训练数据量的十分之一,期间冻结循环层(如 KDA)的全部参数,只让注意力层更新,让注意力层先建立检索优势,之后再解冻进入正常训练。

Q3:BLD 方法只对 KDA 架构有效吗?

A:不是。研究团队还在 Gated DeltaNet 和 Gated Linear Attention 两种循环架构上验证了 BLD,同样取得了显著提升,比如 GDN 架构下 Recall 分数从 17.33 提升到 32.05,说明这个方法对不同线性循环架构都适用。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。