你有没有想过，当你问 ChatGPT 一个很长很复杂的问题时，它是怎么记住你前面说过的每一句话的？
这个问题听起来简单，但背后藏着一个让整个 AI 行业头疼了八年的技术难题。2017 年,Transformer 架构横空出世，靠着自注意力机制让语言模型第一次能够灵活地在一句话内部东看西看、随意调取任何位置的信息。这个设计直接催生了后来的 GPT、BERT 一整个家族。但代价是什么呢？
当你让模型处理一段 10 万字的小说时，它需要把这 10 万字里的每一个词都和其他所有词两两比较一遍。词数翻倍，计算量就要翻四倍。这就是所谓的"二次方增长"问题。更麻烦的是，模型还得把每个词的信息存在一个叫 KV 缓存的地方，这个缓存会随着文本变长而持续膨胀,占用越来越多的显存。
这篇来自阿里巴巴 Token Hub 团队的综述论文,标题是《大语言模型中注意力机制的演进:机制、权衡与新兴趋势》,系统梳理了过去八年里研究者们想出的各种办法。但它真正有价值的地方不在于罗列方法,而在于提出了一套全新的分析框架,让我们能用同一套语言去理解看起来完全不同的技术路线。
这件事难在哪里
先说清楚问题的核心矛盾。
Transformer 的自注意力机制有一个特别棒的优点：每个词都能直接"看到"句子里任何位置的其他词,不管距离多远。这种直接访问能力,是它能做长距离推理、上下文学习的基础。
但这个优点同时也是最大的负担。
想象你在整理一个巨大的档案室,每份新文件进来,你都要把它和档案室里已有的每一份文件都做一次比对,记录下相关度。文件越多,比对次数就越多,而且是以平方速度增长。如果档案室已经有 1000 份文件,新来 1 份就要比对 1000 次;等档案室涨到 10000 份,新来 1 份就要比对 10000 次。十倍的文件量,带来的是十倍的比对工作量,而且这还只是新增这一份文件的代价,整个档案室全部文件两两比对一遍,工作量是文件数量的平方。
这就是自注意力机制的"二次方困境"。文本越长,处理代价涨得越凶。
更糟的是,即便你有本事把这些比对都算出来,你还得把每份文件的"摘要卡片"（也就是论文里说的 KV,也就是键值对) 存起来,留着给未来的文件做比对用。文件越多,这些摘要卡片占的柜子空间就越大。这个不断膨胀的"柜子"就是 KV 缓存,它会随着对话变长而持续吃掉显存。
而且这篇论文提到一个很反直觉的事实：
把上下文窗口做得更长,并不等于模型就能更好地利用那些远处的信息。
候选内容越多,反而可能增加检索干扰,让模型在长距离回忆上表现更差。这就好比你给一个人越来越大的仓库去存东西,仓库大了不代表他找东西的能力会变强,反而可能因为东西太多而找起来更费劲,甚至经常找错。
这个矛盾催生了过去八年里好几条并行发展的技术路线。论文把它们归纳成四条主线,外加一条"混搭"路线。接下来我们一条条拆开看。
记忆的五个维度:一套新的分析语言
在正式讲各个技术路线之前,得先讲讲这篇论文最有意思的贡献,也就是它提出的一套分析框架。
研究者们注意到,不同的注意力变体表面上长得完全不一样,有的保留了每个词的独立记忆单元,有的把历史压缩进一个固定大小的状态里,有的只挑选部分词去看。乍一看很难放在同一个坐标系里比较。
但如果换一个角度,把这些机制统一看作"模型如何管理上下文记忆"的问题,它们之间的差异就能被拆解成五个清晰的维度。
记忆表示(Memory Representation)：模型到底保留了历史信息的哪种形式。是每个词单独一份的键值对,还是压缩成了一个固定大小的矩阵状态,还是变成了几个摘要槛位。
记忆更新(Memory Update)：当新的词进来时,这份记忆是怎么变化的。是简单地往后面追加,还是覆盖旧的内容,还是做了某种加权融合。
访问(Access)：对于眼前这个查询,哪些记忆单元有资格被看到。是全部可见,还是只能看附近的一小段,还是经过某种挑选机制筛出来的一部分。
读出(Readout)：从那些被允许看到的记忆里,具体怎么把信息提取出来并组合。
整合(Integration)：如果有多个读出结果（比如多个注意力头,或者多条并行的记忆通路),它们最后怎么被融合成一个输出。
这五个维度不是说每种机制都要把它们拆成五个独立的模块,而是五个"功能角色"。一次操作可能同时承担好几个角色,这五个维度更像是五个提问的角度,帮我们看清楚一个方法到底在动哪一块。
这套框架的好处在于,它让"显式记忆路线"（比如注意力机制保留每个词的键值对)和"状态压缩路线"（比如用循环状态压缩整个历史)这两条看起来完全不同的技术路径,能够放在同一张表格里对比。它们出发点不同,但越到后期,两条路线控制的"记忆功能范围"越来越像,这是整篇论文最核心的洞察之一,我们后面会详细讲。
显式记忆这条路：怎么把档案室管得更省地方
第一条路线叫 Softmax Attention,也就是标准的自注意力机制及其各种改良版本。
这条路线的基本思路是：既然每个词的记忆是分开存的,那就想办法让每份记忆占用的空间更小,或者让同一份记忆被更多人共用,从而省掉存储和搬运的开销。
最早的改进叫多头注意力（MHA)，每个注意力头都单独存一份键值。后来有人发现,这样太浪费了,于是出现了多查询注意力（MQA)，让所有的查询头共用同一份键和值,只是查询向量各自不同。再后来出现了折中方案,叫分组查询注意力（GQA)，把查询头分成若干组,组内共用一份键值。
这就好比一家公司原本每个员工都配一台独立打印机,后来发现浪费,改成每个部门共用一台。打印效率不变,但省下的硬件成本是实打实的。GQA 现在已经是业界的标配,Llama、Qwen、Mistral 等主流开源模型都在用。
还有一条更激进的路线叫多头潜在注意力（MLA)，由 DeepSeek 团队提出。它不是简单地共享键值,而是把每个词的键值压缩进一个低维的"潜在表示"，解码时再按需展开。这就像把一份厚厚的档案提前浓缩成几行摘要存起来,真正需要细节的时候再临时还原回去。DeepSeek-V2、V3 系列和 Kimi K2 都用了这个技术。
但光是压缩单个词的信息还不够,如果文本长到几十万甚至上百万字,光靠压缩每个词的存储空间,总存储量还是会线性涨上去。这时候就需要另一种思路：直接改变"记忆"本身的组织形式,把远处的历史压缩成更粗糙的摘要,只对最近的内容保持精细记录。
这种"动态分辨率"的做法,就像你整理一个房间,最近用过的东西放在手边的抽屉里,精确摆放;而一年前的旧物品,你可能直接打包塞进储物箱里,只在箱子外面贴个大概的标签。箱子里具体是什么已经模糊了,但你知道大概方向,需要的时候愿意花点时间去找。如果不这样做会怎样？你的房间迟早会被堆满,每次找东西都要翻遍所有抽屉,效率越来越低。
DeepSeek-V4 用的 HCA（Heavily Compressed Attention)机制正是这个思路,它把远处的 KV 条目压缩成少量高度浓缩的全局条目,只对这些压缩后的条目做密集的注意力计算。
稀疏注意力：别看全部,只看该看的
第二条路线叫 Sparse Attention,中文可以理解为稀疏注意力。
这条路跟上一条的区别在哪？上一条路线保留的还是完整的、精细的记忆内容,只是想办法把每份记忆压得更小。稀疏注意力换了个思路：既然看全部太贵,那就只挑一部分来看,别的直接跳过。
最早期的做法是硬性规定一个固定的查看范围。比如 Longformer 用一个滑动窗口加上几个"全局令牌"，让每个词只能看周围一小段加上几个被指定为重要的位置。这就像一个新来的员工,只被允许查看自己手头的文件和几份被标记为"必读"的核心文档,其他档案室里的内容一律看不到。这种方式简单粗暴,但好处是训练和推理时的计算模式完全一致,不会出现"训练时学的是一套,实际用的时候又是另一套"的尴尬局面。
但固定模式有个明显的短板：万一相关信息刚好在没被覆盖的位置呢？论文里提到后期出现了另一类做法,叫"自路由"，让模型根据内容本身来动态决定该看哪些词,而不是提前死板规定。
这里有个特别值得细讲的例子,是 DeepSeek 提出的原生稀疏注意力（NSA)。它的设计思路非常巧妙：先把历史内容压缩成粗粒度的区块表示,算一遍粗糙的注意力得到一个大致的相关度分布,然后利用这个分布反过来挑选出最值得精读的那几个区块,再对这些挑中的区块做精细的、原始分辨率的注意力计算。
这就好比你在一个巨大的图书馆里找资料,不会一本一本翻,而是先翻目录（粗读),锁定几个可能有用的章节(选中的区块),再去精读那几章的具体内容(精细注意力)。目录翻阅的成本很低,但能大幅缩小精读的范围。
更进一步的做法是引入一个独立的"索引器"，专门负责打分和挑选,和真正干活的主注意力机制分开。DeepSeek-V3.2 里的 Lightning Indexer 就是这个思路：用一个轻量级的打分网络,给每个历史位置算一个重要性分数,挑出分数最高的若干个,再把这些位置的真实内容交给主注意力去精细处理。
这里有个很实际的问题,索引器本身也要扫描整个历史,如果上下文长度冲到百万级别,这个扫描动作本身就成了新的瓶颈。所以后续像 Qwen 的 QSA 机制又想办法把索引器要扫描的内容也先压缩成"微块"，进一步减轻扫描负担。这是一个层层递进的工程优化故事,每解决一个瓶颈,下一个瓶颈就冒出来,逼着研究者继续往前推。
还有一个很有意思的发展方向,叫跨层复用。既然每一层都要重新算一遍"该看哪里"的决策,成本不低,那能不能让这个决策在相邻几层之间共用？GLM-5.2 用的 IndexShare 机制就是这个思路,一个索引器的结果被四个稀疏注意力层共享,省掉了三倍的重复计算。这就像一个侦探团队破案,不需要每个人都从头调查一遍线索,领头人确定了嫌疑人名单之后,后续的同事可以直接基于这份名单继续深挖,不用重新筛一遍。
线性注意力：把历史压成一个滚动的摘要
第三条路线叫 Linear Attention,这是和前两条完全不同的思路。
前两条路线无论怎么压缩和挑选,底层逻辑始终是"保留每个词独立可查的记忆单元"。线性注意力彻底放弃了这个假设,它把整段历史压缩进一个或几个固定大小的"状态"里,这个状态不随文本长度增长,解码时每一步只需要读写这个固定大小的状态,计算量不再随上下文线性增长。
这个思路最早可以追溯到 2020 年的 Linear Transformer,它把注意力计算重新表达成一种可以逐步累积的形式,数学上类似一个不断被更新的联想矩阵。
但这里有个很直观的问题：如果只是不断往同一个矩阵里累加信息,时间一长,新旧信息会互相冲突,早期的重要细节可能被后来的内容"冲掉"。
研究者们接下来几年一直在解决这个问题,核心思路可以归纳成三个动作：保留多少旧状态（retain)、清除哪些过时内容（erase)、写入什么新信息（write)。
最初的方案是完全不做任何遗忘,新信息只是不断叠加,这就像一个笔记本永远不翻页,所有东西都写在同一页上,时间长了字迹叠在一起,根本看不清。
后来出现了固定的遗忘机制,比如 RetNet 给每个注意力头设定一个固定的衰减速率,时间越久的信息权重越小。这相当于给笔记加了一个"墨水会随时间自动变浅"的设定,但衰减速度是提前固定好的,不会根据内容变化。
再往后,出现了输入依赖的动态遗忘。GLA 这样的模型让衰减速率由当前输入内容决定,遇到重要的信息就少遗忘一点,遇到无关的噪音就多遗忘一点。这就像一个真人在记笔记,会本能地给重点内容多留点空间,随手记下的闲话就写得潦草甚至直接划掉。
还有一类叫"delta 规则"的方法,比如 DeltaNet,它不是简单地叠加新信息,而是先检查当前地址上已经存了什么,然后只做"纠正性"的写入,就像给笔记本已有的内容做修订,而不是无脑地另起一行。
这整条脉络其实在回答一个问题：有限的存储空间,该怎么被用得更聪明。论文里专门提到一个很有价值的视角,它把这些更新规则重新解释成"在线优化"问题,也就是说每一次状态更新,本质上都等价于针对某个目标函数做了一步梯度下降。这个视角很漂亮,因为它把看起来五花八门的更新公式,统一成了"每个方法在优化什么样的损失函数"的问题,直接把不同方法的设计哲学摆到了同一张桌子上对比。
状态空间模型：另一条平行的数学路径
第四条路线是 State Space Models,简称 SSM,中文叫状态空间模型。
这条路跟线性注意力有点像,都是用一个循环状态来承载历史信息,但它的数学根基完全不同,来自经典的控制理论里的状态空间方程,而不是对注意力机制做变形。
最经典的代表是 Mamba。它最大的亮点在于让状态转移方程里的关键参数（比如步长、输入权重、输出权重)都变成由当前输入动态生成的,而不是训练完就固定不变的常数。这意味着模型能根据内容本身决定该往状态里写入多少信息、该多快地遗忘旧内容。
这就像一个会议记录员,遇到重要发言会放慢速度仔细记,遇到闲聊会一笔带过甚至直接跳过。固定速率的记录员做不到这种灵活调整,无论内容轻重都用同样的节奏记录,结果往往是重要信息被挤占了篇幅,琐碎内容却占了大量空间。
Mamba-2 进一步提出了一个叫"结构化状态空间对偶"（SSD)的框架,把这种选择性的状态空间计算和注意力的矩阵计算联系在一起,证明两者在数学上是等价的两种视角。这个发现很重要,因为它说明状态空间模型和注意力机制并不是完全不同的两个世界,而是同一个数学结构的两种实现路径,一个用循环状态表达,一个用矩阵乘法表达。
混合架构：当一个模型里住着好几种"记忆方式"
讲完四条独立路线,接下来是这篇论文里我认为最有意思的一部分：混合架构（Hybrid Architecture)。
混合架构不是第五种独立的记忆机制,而是一种"组合方式"。它把前面讲的几种路线按不同的粒度搭配在同一个模型里,层与层之间用不同的机制,甚至同一层的不同注意力头用不同的机制。
最常见的做法是按层分配,业内叫层级混合。比如 Jamba 这个模型,主干大量使用 Mamba 来处理局部的长距离依赖,但每隔七层就插入一层完整的注意力机制,用来保证关键信息不会在压缩过程中彻底丢失。
这就像一个团队的工作流程,大部分日常事务由效率优先的流程化系统处理,但每隔一段时间要安排一次全面的人工复核,确保那些被自动化流程可能忽略的细节不会被遗漏。如果完全不做人工复核会怎样？那些结构不规则、需要精确追溯的边缘情况可能永远得不到妥善处理,系统效率是高了,但出错的代价也更大了。
还有按头分配的做法,叫头级混合。同一层里,一部分注意力头保留完整的检索能力,另一部分头换成效率更高的循环状态机制。DuoAttention 这篇工作就是通过分析哪些注意力头在长文本任务里真正承担了"检索"职能,把这些头保留为完整注意力,其余的头换成更省资源的流式注意力。
更细粒度的做法是按 token 分配,叫 token 级混合。有些方法会判断某个词离开当前的局部窗口之后,是该进入一个"重要内容区"保持精确检索,还是被压缩进一个循环状态里。这相当于在整理房间的时候,不是机械地按时间先后把东西打包进箱子,而是先判断这件物品有多重要,重要的留在手边抽屉,不重要的才打包进箱子。
论文里特别强调,混合架构的发展正在从"简单地把不同模块拼在一起"走向"更深层次的协同"。举个例子,一些最新的稀疏注意力系统开始让某一层算出来的"该看哪里"的决策,不仅在当前层用,还被后面好几层直接复用,甚至连带着复用底层的键值内容本身。这意味着网络的深度，也就是层与层之间的位置,正在成为组织记忆的一个新维度,而不只是信息按顺序流过的管道。
这是一个很深刻的转变。原来大家关心的是"每一层该用什么机制",现在的问题变成了"某一层算出来的东西,要不要让后面的层也能用上,用多久"。这种思路上的升级,某种程度上有点像公司里从"每个部门各自为战"进化到"建立统一的知识共享系统",信息一旦产生,就可能被多个环节反复利用,而不是产生完一次就扔掉。
真实世界里,各家公司是怎么选的
讲了这么多理论,一个很现实的问题是：那些真正跑在生产环境里的大模型,到底用的是哪一种？
论文团队做了一个相当扎实的调查工作,梳理了从 2022 年到 2026 年总共 59 条公开披露的模型架构记录,涵盖 14 个主要的模型家族。
统计结果很有意思。在 2022 到 2023 年这段时间,所有被统计的模型全部使用单一的注意力机制,没有一个是混合架构。但到了 2024 到 2025 年,这个比例变成了 36% 是混合架构。而进入 2026 年之后,这个比例跳到了 63%,意味着大部分新发布的大模型,已经不再满足于用单一机制打天下,而是组合使用多种记忆方式。
跨层复用这个更细分的技术,目前只在五条记录里被明确使用,分别对应 GLM、DeepSeek、LongCat 三个技术团队的架构方案。这个数字虽然不大,但它代表了一个正在萌芽的新方向,而不是昙花一现的个例,因为三个独立团队分别摸索出了相似的思路,这通常是一个信号,说明这条路径确实有价值。
论文还单独做了一个"性能前沿"的横截面分析,挑出当时表现最好的十一个开源模型端点,逐一拆解它们的注意力架构。结果显示,这些顶尖模型里几乎每一个都保留了某种形式的显式令牌检索能力,即便它们大量使用了循环状态或稀疏注意力。这说明一个很重要的事实：
目前为止,还没有任何一种压缩或稀疏化的方案,能够完全替代掉"精确检索某个具体位置信息"这项能力。
这也印证了论文的一个核心判断：这个领域正在走向多样化,而不是收敛到某一种统一的标准答案。
一个值得追问的新假设：记忆是不是也可以按地址来路由
论文的最后部分提出了一个相当有野心的前瞻性假设,叫"有状态的多维记忆路由"。
这个假设的核心想法是：把持久化的记忆组织成一个带有多个坐标的地址空间,这些坐标包括时间范围、网络深度、存储介质类型、以及表示的精细程度。换句话说,一份记忆不再只是"存在那里",而是有一个明确的"地址",这个地址告诉系统这份记忆对应哪个时间段、处在网络的哪一层、用什么形式存储、精细到什么程度。
有了这套地址体系,系统就可以做"稀疏写入"和"稀疏读取"：写入时只往真正需要更新的地址写,读取时也只去真正相关的地址读,而不是对所有记忆地址一视同仁地操作。
这个思路和公司里的分级权限档案系统有点像。核心机密文件只有少数几个高管知道存在哪里,也只有他们能更新;日常运营数据则由更广泛的团队频繁访问和修改。如果不做这种区分会怎样？所有信息混在一起,既没有办法保护重要内容不被频繁的无关操作污染,也没法让日常高频访问的内容享受更快的检索速度。
这个假设还只是一个待验证的方向,论文作者自己也承认,这套系统要真正落地,还需要解决很多工程上的难题,比如不同存储介质之间的接口怎么统一,写入决策和未来查询的收益之间存在延迟,怎么做负载均衡,怎么防止某块记忆被写坏了没法恢复。但它提供了一个很有启发性的问题框架：未来的高效大模型架构,可能不再只是在"要不要稠密注意力"这个单一维度上做选择,而是要在时间、深度、介质、精度这四个维度上同时做取舍。
写在后面
读完这篇综述,最触动我的一点,是它把一个看起来很工程化的话题,硬生生拎出了一条清晰的历史主线。
过去八年里,大家各自在不同的方向上死磕：有人死磕怎么把 KV 缓存压得更小,有人死磕怎么挑出最该看的那几个词,有人死磕怎么把整段历史塞进一个固定大小的状态里。这些工作在各自的论文里看起来是孤立的技术优化,但这篇综述用"记忆的五个维度"这把尺子一量,发现它们其实都在回答同一个问题：如何决定什么该被记住、什么该被遗忘、什么该被看见。
另一个让我意外的发现是跨层复用这个趋势。原本我以为注意力机制的优化已经到了精细调参的阶段,是边际收益递减的苦活。但当某一层的检索决策开始被后面好几层共享和复用,这其实在暗示一件事：网络的深度本身,正在从一个"信息流过的管道"变成一个"记忆被组织和管理的空间"。这是个很新的视角,也是我在读这篇论文之前完全没想过的角度。
还有一点值得单独说一下。论文反复强调,没有任何压缩或稀疏方案能完全取代"精确检索某个具体位置"的能力。这其实是个挺谦虚的结论,因为它意味着这个领域目前所有的"效率优化"，本质上都是在给一个无法回避的核心需求打补丁,而不是找到了一个根本性的替代方案。这让我想起很多工程领域的共同困境：局部优化可以做到很极致,但往往绕不开那个最根本的、看起来笨重但不可或缺的核心操作。
那么问题来了,如果真的有一天,记忆可以被精确地分配到时间、深度、介质、精度这四个坐标轴上去管理,我们现在熟悉的"注意力机制"这个词,还会是描述这类系统的合适说法吗？
Q&A
Q1：大语言模型里的注意力机制为什么会遇到瓶颈？
A：标准自注意力机制需要让每个词都和历史上所有其他词两两比较,计算量会随文本长度呈平方级增长,同时还要把每个词的键值对存进不断膨胀的缓存里,这导致处理长文本时计算和存储成本急剧上升。
Q2：稀疏注意力和线性注意力有什么区别？
A：稀疏注意力依然保留每个词独立可查的精细记忆,只是让每次查询只能看到一部分被挑选出来的内容;线性注意力则彻底放弃逐词存储,把整段历史压缩进一个固定大小的循环状态里,单个历史词不再能被单独找回。
Q3：现在的大模型都用混合架构吗？
A：根据论文统计的 59 条公开架构记录,2022到2023年全部模型都用单一机制,2024到2025年混合架构占比36%,到2026年这个比例已经上升到63%,说明混合架构正在成为主流趋势,但顶尖模型里依然普遍保留了显式的精确检索能力。
