Token导航 LogoToken导航

AI 资讯 · 科技行者

两次线性变换解决大模型KV缓存等三个难题

更新 2026-11-20科技行者正文 5779字阅读约 19分钟1 张图片


你有没有想过,为什么现在的大模型越做越能处理长文本,但手机上跑起来却越来越卡?

这背后藏着一个工程师们心知肚明却一直没彻底解决的矛盾。大模型在处理长文本时,需要把之前算过的键值对(Key-Value)存在显存里,这样下一个字生成的时候就不用重新计算前面所有内容。这个存起来的东西叫做

KV缓存:大模型在生成文字时,为了避免重复计算,会把每一步算出来的"钥匙"(Key)和"内容"(Value)存起来,供后续步骤复用的一块显存空间。

问题是,上下文越长,这个缓存就越大。128K的上下文窗口意味着模型要同时记住十几万个字的所有键值对,显存很快就被这些缓存吃满了,留给实际计算和并发用户的空间越来越少。

于是整个领域陷入了一个三方拉扯的局面:你想让KV缓存小一点,训练和推理的计算量低一点,模型效果还要好一点。这三件事情很难同时做到。论文里管这个叫"不可能三角",这个说法听起来有点夸张,但看看现有方法的表现,你就知道这不是夸张。

不可能三角到底卡在哪

先说说目前业界用得最多的方案,叫分组查询注意力。

GQA(分组查询注意力):传统的注意力机制每个查询头都配一套独立的键值对,而GQA让多个查询头共享同一组键值对,以此减少显存占用。

GQA用8个KV头(简称GQA-8)效果很好,但缓存开销也大,在BF16精度下每层每个token要占4KB。如果简单粗暴地把KV头砍到2个(GQA-2),缓存确实降到1KB了,但代价是什么?论文的实验数据给出了答案:在1.7B参数规模下,质量直接掉了1.00%。

这其实很好理解。原来8个KV头的时候,平均每组有2个查询头共享一套键值信息;现在2个KV头,一下子变成每组8个查询头抢着用同一套键值。信息越来越稀释,模型自然越来越糊涂。

这就像一个班级原来是2个学生配1个辅导老师,现在变成8个学生抢1个辅导老师,老师再怎么厉害,分给每个学生的关注都稀薄了很多,学生的学习效果必然打折扣。如果不压缩这个师生比,缓存就降不下来,但压缩了,质量就要滑坡,这就是GQA在"不可能三角"里卡住的地方。

那换一条路呢?Multi-head Latent Attention想了个办法。

MLA(多头潜在注意力):把键值对投影到一个低维的"潜空间"里,用更小的向量存储,等用的时候再升维还原,这样能大幅压缩缓存体积。

MLA确实把缓存压到了1.12KB,很接近GQA-2的水平,但代价是,在论文测试的多个规模下,它的质量成绩是垫底的。另外一个方案叫Multi-matrix Factorization Attention。

MFA(多矩阵分解注意力):通过放大每个注意力头的维度,同时减少KV头数量,用更"胖"的头来补偿更少的头数带来的信息损失。

MFA的质量确实不错,接近GQA-8的水准,缓存也压到了1KB,看起来挺美好,但它的训练和预填充(prefill,指处理输入提示词阶段的计算)FLOPs(浮点运算次数,衡量计算量的指标)在1.7B规模下暴涨了49.8%。换句话说,为了省显存,你要多烧将近一半的计算资源,这笔账怎么算都不划算。

说到这里你应该明白了,三个指标像拔河一样,拉一个,另外两个就被扯动。有没有可能三头都不放松?

Virtual Head Attention想出的两招

论文提出的方案叫Virtual Head Attention,简称VHA。

VHA(虚拟头注意力):一种注意力机制设计,核心思路是先把物理查询头数量砍半、KV头数量压到2个,然后用两个轻量的线性操作把损失的表达能力补回来,分别叫Q Premix和Linear Postmix。

这个设计思路挺大胆的,直接把查询头砍一半,KV头也压到2个,这其实就是前面说的"doubly-compressed"(双重压缩)配置,单看这个压缩幅度,比GQA-2还狠。按照之前的逻辑,这应该会让质量掉得更惨才对。但VHA偏偏在这个最激进的压缩形态上,把质量做回来了,甚至超过了没压缩的GQA-8基线。

秘密就在那两个补偿操作上。

第一招:Q Premix,把砍掉的查询头"复活"

既然查询头砍半了,那每个KV组里剩下的查询头就太少,表达能力不够用。Q Premix的做法是,给每个KV组配一个专属的变换矩阵,让组内剩下的查询头经过这个矩阵一变换,就能"分裂"出和原来一样多的虚拟查询头。

这个变换矩阵一开始被初始化成接近单位矩阵(也就是几乎不改变输入),只加一点点随机扰动。训练过程中,这个矩阵会慢慢偏离单位矩阵,学出每组特有的查询探测方向。

论文还做了个很硬核的验证,直接把训练完的模型里这个变换矩阵拿出来看。结果显示,这个矩阵确实明显偏离了单位矩阵(在1.7B模型的中后层,偏离程度达到峰值5.85),而且不同KV组学出来的矩阵彼此之间也有相当大的差异(峰值6.13),说明两组确实学出了不同但又不完全独立的查询变换方式。

这就像一个厨房原来配了8个厨师各管一摆盘,现在厨师砍到4个,但给每个厨师发了一副"分身魔法眼镜",戴上之后能同时以两种不同的审视角度来摆盘,一个厨师干出两份活。如果不发这副眼镜,厨师数量减半,摆盘花样也会减半,菜品的丰富度直接打对折。而这副眼镜的妙处在于,它不是让两份工作完全一样(那等于没分身),也不是让两份工作毫无关联(那等于两个独立厨师,省不了人力),而是让这两份工作既各有侧重又互相借力。

第二招:Linear Postmix,给砍开的信息架桥

Premix解决了组内信息不够丰富的问题,但不同KV组之间(比如上面说的两组厨师)彼此还是信息隔绝的。Linear Postmix就是来打通这堵墙的。

它的做法是在注意力输出结果上,套一层"单位矩阵加低秩残差"的变换,公式写出来是 I + AB?。这个结构乍一看有点抽象,其实可以这样理解:I(单位矩阵)代表什么都不改变,AB?这个低秩项代表在原有基础上做一次轻微但有针对性的信息重新分配。

初始化的时候,B矩阵被设成全零,这样AB?正好等于零,训练刚开始的时候Postmix完全不起作用,相当于一个安全的起点。随着训练推进,B慢慢学出有效的跨组信息融合模式。

论文里还把训练完的Postmix矩阵画成了桑基图(一种展示流量分布的可视化图表),结果发现信息流动主要集中在同组内部的头之间重新分配,但也有一小部分、却很稳定的"跨组桥梁"存在,把原本隔开的两组信息悄悄连了起来。

这有点像公司里本来财务部和市场部各自闷头干活,互不来往。后来公司加了一条规矩:每周留一点点时间,让两个部门各派一个代表碰个头,交换一下关键信息,信息量不大,但足够让两边不至于各走各的路。如果没有这条规矩,两个部门各自为战,决策时漏掉对方的关键信息,公司整体效率就会打折。而这条规矩的巧妙之处在于频次控制得很低(低秩约束),不会让两个部门为了配合彼此而耽误正事。

论文做了个关键的消融实验,证明两招必须一起用才行。单独只用Premix,相比标准GQA-8跌了0.78%;单独只用Postmix,跌了0.14%;但两者一起上,反而比GQA-8高了0.41%。这说明Premix提供的"组内多样性"和Postmix提供的"跨组信息架桥"是两种互补的能力,缺了任何一个都补不齐压缩带来的损失。

最妙的一点:两招都是纯线性操作,没有引入任何非线性激活函数(比如常见的SiLU、ReLU这类)。这意味着训练完成之后,Premix可以直接"焊接"进查询投影矩阵里,Postmix可以直接"焊接"进输出投影矩阵里,推理阶段完全不需要额外计算,模型瞬间变回一个标准的GQA-2架构,可以直接套用vLLM、SGLang这些业界成熟的推理加速框架。

这就像给汽车改装了一套涡轮增压系统,但改装完之后外壳看起来和普通汽车一模一样,维修厂的师傅完全不需要学新工具,直接按老办法保养就行。如果用了非线性激活,这套"伪装"就会穿帮,推理时就得专门写一套新的计算内核,运维成本直接飙升,这正是MLA方案被诟病"需要定制内核、推理流程不标准"的根源所在。

数据说话:五个规模全部验证

论文在0.6B、1.7B、4B、8B-A1B(MoE架构,激活参数1B)四个规模上,用4K上下文、50B token做了预训练对比。

MoE(混合专家模型):模型里包含很多个"专家"子网络,每次推理只激活其中一小部分,这样可以在不增加太多计算量的情况下大幅扩充模型容量。

结果显示,VHA在每一个规模上都超过了标准GQA基线,涨幅从0.05%到0.81%不等,同时KV缓存在稠密模型规模上比GQA-8小了4倍,在MoE规模上比GQA-4小了2倍。1.7B规模下,训练和预填充的计算量还反过来降低了7.9%。

| 规模 | 方法 | 缓存(KB) | 平均准确率 |

| 0.6B | GQA | 4.00 | 50.42 |

| 0.6B | MFA | 1.00 | 50.66 |

| 0.6B | VHA | 1.00 | **51.04** |

| 1.7B | GQA | 4.00 | 54.09 |

| 1.7B | MFA | 1.00 | 54.06 |

| 1.7B | VHA | 1.00 | **54.50** |

| 4B | GQA | 4.00 | 56.90 |

| 4B | MFA | 1.00 | 56.94 |

| 4B | VHA | 1.00 | **57.71** |

| 8B-A1B | GQA | 2.00 | 54.86 |

| 8B-A1B | VHA | 1.00 | **54.91** |

这个数据表最值得玩味的地方是,VHA不是在某一个规模上碰巧赢了,而是五个规模全部赢了,而且用的缓存是对手里最小的那一档。更有意思的是,论文还专门做了一个更极端的测试,直接把GQA的KV头从8砍到2,再把查询头也砍一半,变成和VHA一样的8-2-2形状,但不加Premix和Postmix。结果这个"裸奔版"的双重压缩配置比GQA-8跌了整整1.71%。VHA用同样的双重压缩形状,不仅把这1.71%的损失全部补回来,还反超了0.41%。

这说明一个很重要的事实:压缩本身不是问题的根源,没有补偿机制才是问题的根源。VHA的两个线性模块,正是在那个最激进的压缩点上,找到了把表达力补回来的办法。

工业级规模的验证同样没有翻车。论文在一个30B-A3B的MoE模型上,用500B token、8K上下文训练,在12个基准测试上,VHA比GQA-4高2.60%,比MLA高0.70%,而且缓存只用了GQA-4的一半、MLA的89%。按General、数学与STEM、编程、多语言四个大类拆开看,VHA在General上领先GQA 3.39个百分点,在数学与STEM上领先3.31个百分点,这种领先是比较均匀地分布在不同能力维度上的,不是靠某一项极端优势撑起来的平均分。

长上下文场景更是直接把差距拉到了另一个量级。论文在一个10B-A1B规模的MoE模型上,对比了全程使用2个KV头的VHA和全程使用4个KV头的GQA,在RULER(一个专门测试长上下文检索与推理能力的评测集)上,VHA在8K到128K的平均分是84.4,GQA只有73.0,相差11.4分。其中变量追踪(Variable Tracking)这个子任务差距最夸张:128K长度下VHA拿到83.0分,GQA只有3.0分,这不是渐进式的优势,是断崖式的差距。

为什么VHA拆开看,两个模块各管各的事

论文最后专门花了一节分析训练完的模型里,Premix和Postmix到底学出了什么样的内在结构,这部分读下来挺有意思。

对Premix的分析排除了两种"偷懒"的可能:一种是矩阵训练完之后压根没怎么变,还停留在接近单位矩阵的状态,等于白加了这个模块;另一种是不同KV组学出了完全一样的矩阵,相当于伪装成多组、实际上退化成了一组。实测数据排除了这两种情况,矩阵确实学出了显著偏离单位矩阵的变换,不同组之间也确实存在显著差异,但这个差异没有达到完全独立的程度,说明两组之间存在某种"学习上的默契",既分化又协调。

对Postmix的分析则排除了另一种偷懒方式:如果AB?这个低秩矩阵只是在对角线上做简单的缩放(相当于给每个头单独调音量),那说明它根本没有实现"跨头信息交流"的初始设计目的。桑基图的可视化结果清楚地显示出大量的非对角线信息流动,证明Postmix确实在做真正的跨头信息重组,而不是装装样子的伪操作。

这种对训练完模型的"解剖式"验证,其实比单纯看最终准确率更让人信服。它回答的不是"这个方法有没有用",而是"这个方法到底是怎么起作用的"。一个方法哪怕效果好,如果拆开发现里面什么都没学到(比如矩阵根本没变化),那说明效果好可能是别的因素带来的,这个模块本身是摆设。VHA这里的分析,证明了两个模块确实各自承担了不同的功能角色,而不是互相重复的冗余设计。

论文还提到,这套"训练时用复杂参数化、推理时折叠成简单形式"的思路,和两个经典工作在精神上是相通的。一个是RepVGG,训练时用多分支结构(3×3卷积加1×1卷积加恒等映射)、推理时合并成单一卷积;另一个是LoRA,用低秩分解来做参数高效微调。VHA把这个思路从单一权重矩阵的层面,往上延伸到了注意力机制的"头"这个维度上,这算是一个有意思的方法论迁移。

Q&A

Q1:Virtual Head Attention是什么?

A:Virtual Head Attention(VHA)是一种新型注意力机制,核心做法是把物理查询头数量减半、KV头压缩到2个,再用Q Premix和Linear Postmix两个轻量线性操作把表达能力补回来,推理时可以完全折叠成标准GQA-2架构,无需额外计算开销。

Q2:VHA和GQA、MLA、MFA相比有什么优势?

A:VHA在KV缓存、训练推理计算量、模型质量三个维度上同时做到最优。在0.6B到30B-A3B多个规模的实验中,VHA的准确率全部超过GQA基线,KV缓存比GQA-8小4倍,训练FLOPs还比GQA基线低7.9%左右,而MLA质量偏低、MFA计算量暴涨约50%。

Q3:VHA的Q Premix和Linear Postmix具体是做什么的?

A:Q Premix给每个KV组配一个接近单位矩阵的变换,把砍半后的查询头重新"扩张"出和原来一样多的虚拟查询头,恢复组内多样性;Linear Postmix用低秩的I+AB?结构在注意力输出上做跨组信息融合,弥补不同KV组之间缺乏交流的问题,两者缺一都无法完全补齐压缩损失。

文章标签大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。