Token导航 LogoToken导航

AI 资讯 · 科技行者

长文本推理面临上下文压缩难题

更新 2026-11-19科技行者正文 7768字阅读约 25分钟

你有没有试过让一个AI模型连续写32000个字?不是写小说那种天马行空的32000字,是解一道奥数题、写一段完整代码、推演一条完整逻辑链路的32000字。

这事儿现在正在变成现实。像DeepSeek-R1、Qwen3这类推理模型,已经能生成几万token长的思维链,一步步把一道AIME竞赛题拆解、验证、推翻重来,最后给出答案。这是好事。但好事背后藏着一个很硬核的系统问题:模型每往下写一个字,就要把前面写过的所有内容都"记"一遍。

这个"记"的东西,叫KV缓存。

**KV缓存**:大语言模型在生成文本时,会把之前每个词对应的"键"(Key)和"值"(Value)向量存下来,后面生成新词时要反复查阅这些缓存,这样才不用每次都重新计算一遍前面所有内容。

问题是,这个缓存会随着你生成的内容越来越长,占用的显存也越来越大,而且是线性增长,写得越多占得越多。论文里给了个具体数字:Qwen3-8B模型用FP16精度(也就是不压缩的原始精度)跑在一块A100-40GB显卡上,如果你想让它一次生成超过4000个token的内容,同时跑32个请求,显存就爆了。如果你想跑更大的批量,比如20个以上,生成长度超过8000个token,照样爆。

这不是模型能力不够,是显卡的内存条不够用。而内存不够,意味着你服务不了那么多用户,或者用户的问题不能问得太复杂。这是一个实实在在卡住落地应用的瓶颈。

压缩这件事,听起来简单,做起来是个精细活

既然KV缓存太占地方,一个很自然的想法就是:能不能把这些数字压缩一下?

原本模型里存的数字是16位浮点数(FP16),如果我们把它压成2位整数,理论上能省掉8倍的空间。这就是KV缓存量化的基本思路。

**量化**:把原本用很多比特位表示的数字(比如16位浮点数),压缩成用更少比特位表示(比如2位整数),从而节省存储空间,代价是数字的精度会打折扣。

但这里有个很现实的代价:你把数字从16位压到2位,信息损失是巨大的。论文里实测,如果简单粗暴地把所有键缓存都压到2.25比特,在Llama-3.1-8B模型上,GSM8K数学题的准确率会从76.83%掉到66.97%,掉了将近10个百分点。更夸张的是在AIME这种高难度竞赛题上,DeepSeek-R1-Distill-Llama-8B的准确率直接从48.33%腰斩到28.67%。

这就像你本来有一本写满笔记的笔记本,现在要求你只能留下十分之一的笔记内容,而且不能自己选哪些重要,系统统一帮你删。结果就是关键的推导步骤可能被删了,但一些无关紧要的废话反而留下来了。模型在长链条推理里,前面一步错了,后面全错,这种压缩带来的误差会像滚雪球一样越滚越大。

所以真正的问题不是"要不要压缩",而是"怎么压缩才不伤筋动骨"。

先搞清楚一件事:键和值,谁更脆弱

在深入这篇论文的核心方法之前,得先弄明白一个基础问题:KV缓存里的K(键)和V(值),是不是同样重要、同样脆弱?

研究者做了个对照实验:固定2.25比特的预算,要么只压缩键缓存,保持值缓存全精度,要么反过来。结果很清楚,只压缩值缓存造成的伤害明显小于只压缩键缓存,哪怕不做任何特殊保护。如果再把序列最开头的32个token保留成全精度(这些叫"注意力汇点",后面会细说),值缓存的压缩几乎可以做到和不压缩一样的效果,但键缓存压缩之后的掉分依然存在。

这个发现给整篇论文定了调:省着点用的功夫,主要得花在键缓存上。

**注意力汇点**:模型在处理长序列时,会发现开头的几个token总是被反复关注,哪怕这些token本身没什么实际意义,这种现象被称为注意力汇点,通常需要特殊保护避免被压缩破坏。

那为什么键比值更脆弱?这要从Transformer模型的注意力机制说起。模型在生成下一个词的时候,要拿当前的"问题"(叫Query查询向量)去和之前所有位置存的"钥匙"(Key键向量)做匹配,匹配出来的相似度分数,决定了模型该重点关注哪些历史信息。这个匹配过程本质上是在算一个点积,点积的结果对键向量的数值变化非常敏感,一旦键被压缩得走了样,整个注意力的分布就可能跑偏,模型可能该关注的地方不关注了,不该关注的地方反而重点盯着看。而值向量只是被加权求和,误差会被稀释摊平,没那么要命。

之前的方法错在哪:只看键,忘了问

既然键缓存是软肋,学界已经有人在研究怎么给键缓存做"混合精度"量化,也就是重要的部分多留几个比特,不重要的部分少留。

这类方法里比较有代表性的是ChanMix和Kitty。ChanMix靠离线校准数据集提前找出"检索头"通道,给它们4比特精度,剩下的通道按数值范围聚类分配1到3比特。Kitty则是动态的,每个量化组都重新算一次通道的平均数值大小,挑出大的给4比特,其余给2比特。

这两种方法有一个共同的局限:它们判断"哪个通道重要"的依据,全部来自键本身的统计特征,比如数值范围、数值大小。但键缓存从来不是自己在"表演",它是要配合查询向量一起完成注意力计算的。只看键不看查询,就像你评判一把钥匙重不重要,只看这把钥匙本身的材质和做工,完全不管它要开哪把锁。如果某把锁(查询)压根不会用到这把钥匙,那这把钥匙再精致也没用;反过来,一把看起来普通的钥匙,如果恰好对应着一把经常被打开的锁,它的重要性反而被低估了。

另外还有一个被忽略的结构,叫RoPE。

**RoPE**:全称旋转位置编码(Rotary Position Embedding),是现在主流大模型给每个词标注"它在句子里第几个位置"的一种方式,它的特殊之处在于会把相邻的两个数值通道(维度)绑在一起做旋转操作,形成一种成对的结构。

既然RoPE把通道两两绑定旋转,那按单个通道去评判重要性,就等于把一对本该一起看待的搭档硬生生拆开评分。这篇论文抓住的,正是这两个被忽略的点:查询和键的互动关系,以及RoPE造成的通道配对结构。

PN-Mix的核心洞察:从数学推导里找出"谁最该被保护"

研究者做了一件挺硬核的事:他们没有直接凭经验设计一个重要性打分公式,而是从注意力输出的数学表达式出发,一步步推导量化误差究竟会怎么影响最终的注意力分布。

简单说,他们把每一层的注意力分数拆解成若干个"通道对"的贡献之和。每个通道对由查询向量的一小段和键向量的一小段组成,这一对向量的长度(专业说法叫范数)相乘,再乘以它们之间夹角的余弦值,就是这个通道对对最终注意力分数的贡献。

当键被量化压缩之后,这个通道对的长度和夹角都会发生偏移,偏移量会直接体现在注意力分数的误差里。而这个误差的大小,恰好正比于查询向量长度和键向量长度的乘积。也就是说,如果某个通道对,查询和键的"个头"都比较大,那量化误差在这个通道对上造成的后果就更严重;反过来,如果查询或者键在这个通道对上本来就很小,哪怕量化误差的相对比例很大,实际造成的绝对影响也有限。

这个发现直接催生了论文的核心指标:查询键对范数乘积。

**查询键对范数乘积**:论文给每个RoPE通道对设计的重要性打分方法,做法是分别算出这个通道对里查询向量的长度和键向量的长度,再把两者相乘,乘积越大说明这个通道对在注意力计算里的分量越重,越应该被保护起来用高精度存储。

这就好比一个仓库管理员要决定哪些货架该装监控摄像头。如果只看货架本身值不值钱(也就是只看键),可能会漏掉一个关键信息:这个货架平时有没有人频繁来取货(查询)。一个摆满黄金但常年没人碰的货架,风险其实没那么高;反而是一个摆着普通商品但天天被人翻找的货架,一旦出问题影响更大。如果不把"查询"这个维度也考虑进去,你的监控资源分配就永远是偏的,该重点盯防的地方没盯住,不常用的地方倒装了摄像头,这就是只看键、不看查询会付出的代价。

为了验证这个思路真的有用,研究者做了一个受控实验:在固定预算下(一半通道给3比特,一半给1比特),分别用四种不同的重要性打分标准去挑选哪些通道该给高精度,包括键的数值范围、键的数值大小、键本身的对范数、以及这篇论文提出的查询键对范数乘积。结果显示,在R1-Qwen-7B模型的AIME25测试和R1-Llama-8B模型的代码生成测试里,查询键对范数乘积这个指标,带来的注意力分布偏差(用KL散度衡量)是四种方法里最低的。更关键的是,它比单纯用键对范数的方案还要好,这说明把查询信息加进来,确实带来了额外的增益,不只是把两个通道合并打分这么简单。

怎么在不卡住推理速度的前提下算出这个分数

理论推导很漂亮,但现实问题来了:要严格计算这个重要性分数,理论上得把每一个查询位置和它之前所有键位置的组合都考虑一遍。如果序列长度是3万多个token,这个计算量是相当恐怖的,而且在自回归生成(也就是一个字一个字往外蹦)的过程中,新的查询位置还在不断产生,你总不能每生成一个字就重新算一遍全局重要性。

研究者的解决办法是做了一个近似:把查询的范数和键的范数分别在各自的token维度上求平均,然后再相乘,而不是严格按照每一对查询键的组合去加权平均。这样一来,计算量就从"对所有因果配对求和"降低成了"对查询求一次平均、对键求一次平均",效率大大提升。

这个近似靠谱吗?研究者专门做了对照:把这个简化版打分和严格按因果配对计算的"真实版"打分做排序相关性对比。结果显示,在两个测试场景里,斯皮尔曼等级相关系数都在0.99左右,前10%重要通道对的重合度在95%以上,前50%的重合度接近97%到98%。这说明简化版基本上没丢失排序信息,省下的计算成本换来的精度损失微乎其微。

但更妙的发现还在后面:这个重要性分数,是不是只需要在生成最开始的"预填充阶段"算一次就够了?

**预填充阶段**:大模型处理用户输入的提示词(也就是你问的问题本身)时的计算阶段,这个阶段模型会一次性把整个问题读完,和后面一个字一个字往外"吐"答案的解码阶段是分开的。

这个问题背后藏着一个工程上的巨大诱惑。如果答案是肯定的,那就意味着不需要在生成答案的每一步都重新去判断"现在哪些通道更重要",只需要在读完问题的那一刻算一次,后面几万步生成过程里都复用这个结果。这会省下巨量的在线计算开销。

研究者验证的方式很直接:拿只用预填充阶段数据算出来的重要性排序,和把整个生成过程(包括后面几万步)全部算完之后得到的"全局最优"排序做对比,看两者挑出来的高精度通道重合度有多高。实验结果显示,R1-Qwen-7B在AIME25上、R1-Llama-8B在代码生成测试上,只用预填充数据选出的通道,和解码阶段真正重要的通道之间的重合度(用杰卡德相似度衡量),在查询键对范数乘积这个指标上是四种方法里最高的。更让人意外的是,研究者进一步测试了一个长达3万多步的超长生成场景,以及一个涵盖57个不同学科主题的混合测试,发现这个重合度在整个生成过程中几乎没有随时间推移而下降,维持在0.72左右的水平,波动幅度不超过0.01。

这就好比你在出发旅行前,花半小时研究好了这趟路线上哪几个路段容易堵车、该提前绕开,结果发现不管你开到第10公里还是第300公里,这份提前做好的路况预判依然管用,不需要每开10公里就停下来重新查一遍导航。如果每一步都要重新计算,那省下来的时间可能还不够抵消重新计算的开销,这个"一次预判、全程复用"的设计,正是把理论上的省力变成了实际能落地的省力。

PN-Mix的完整设计:从预填充到解码的全流程

把前面这些发现拼起来,就是PN-Mix这套系统的完整逻辑。

在预填充阶段,模型读完用户的问题之后,会对每一层、每个键值头、每个RoPE通道对,计算出查询键对范数乘积分数。考虑到现在主流模型普遍用分组查询注意力(多个查询头共享同一组键值头),这个分数还要在共享同一个键值头的多个查询头之间做平均。

**分组查询注意力**:一种节省显存的注意力机制设计,让多个查询头共享同一套键值头,而不是每个查询头都配一套独立的键值对,这样能大幅减少需要存储的键值数量。

算完分数之后,每个键值头会挑出排名靠前的若干比例(比如50%)的通道对,标记为"高精度保留对象",剩下的通道对则分配更低的比特数。这个选择结果会打包成一个二进制掩码,在整个解码过程中一直复用。

解码阶段,系统会把最开始的若干个token(论文设定是32个,也就是注意力汇点)和最近生成的一段内容(残差缓冲区)始终保持全精度存储。等残差缓冲区存满了,这批内容才会被压缩,压缩时被标记为高精度的通道对用3比特存储,其余用1比特存储。

这里还有个小细节值得一提:1比特量化的误差天然就很大,因为只有0和1两个取值。研究者用了一个简单的修正方法,把两个重建数值从区间的两端往中点方向挪一挪,而不是直接卡在最大值和最小值上,这样能有效减少极端情况下的偏差。

整套设计下来,PN-Mix平均每个键只需要2.26比特,就能做到和那些用2.32到2.39比特的竞品方法相当甚至更好的效果。

实验结果:省了更多比特,准确率反而更稳

研究者在多个维度上验证了PN-Mix的效果。

在标准推理和代码生成测试(GSM8K数学题、MATH代数题、HumanEval代码题、GPQA研究生级问答)上,测试了Llama-3.1-8B、Qwen3-8B、Qwen2.5-14B、Qwen3-32B四个模型。无压缩2比特的KIVI方法,平均准确率比原始FP16掉了5到接近10个百分点,这是量化粗暴带来的硬伤。而PN-Mix用2.26比特,平均分数和FP16之间的差距能控制在1个百分点以内,并且在和ChanMix、Kitty这两个用更多比特数的竞品对比中,依然能打平或反超。

| 模型 | 方法 | 键缓存比特数 | 平均准确率 |

|---|---|---|---|

| Llama-3.1-8B | FP16 | 16 | 54.04 |

| Llama-3.1-8B | Kitty | 2.39 | 51.86 |

| Llama-3.1-8B | **PN-Mix(1)** | **2.26** | **53.08** |

| Qwen3-8B | FP16 | 16 | 77.85 |

| Qwen3-8B | Kitty | 2.39 | 74.43 |

| Qwen3-8B | **PN-Mix(1)** | **2.26** | **77.21** |

在更硬核的AIME数学竞赛测试上(这类题目的答案需要几千字的推理链条才能算出来),PN-Mix在六个模型基准的组合里,有五个取得了非FP16方法中的最高分,唯一的例外是R1-Qwen-7B在AIME25上稍逊一筹。这说明即便是在这种长链条、容错率极低的任务上,PN-Mix的压缩策略依然能站得住脚。

研究者还做了一个消融实验,逐一拆掉PN-Mix的每个设计部件看效果会怎样。去掉1比特修正,或者去掉注意力汇点的全精度保护,准确率都会明显下滑,其中去掉1比特修正的伤害更大。如果把重要性打分换成只看键不看查询的方案,准确率同样会掉,尤其在AIME24这种需要长链条推理的任务上更明显。研究者还试了一个"在线重新选择"的变体,也就是在解码过程中不断更新重要性分数、重新挑选通道,结果这个变体不仅效果比不上预填充一次性选定的方案,还额外增加了存储和加载索引的开销。这从侧面印证了之前那个发现:预填充阶段算一次就够用了,没必要在解码过程中反复折腾。

比特预算一降再降,PN-Mix撑到了哪个极限

研究者还做了一个"压力测试",把平均键比特数从3.0一路降到1.5,看各个方法在这个过程中的准确率曲线。

结果显示,在2.5到3.0比特这个区间,Kitty和PN-Mix都能保持接近FP16的水准,差距不大。但一旦降到2.25比特以下,Kitty的准确率开始断崖式下跌,而PN-Mix的下降曲线明显更平缓。这意味着PN-Mix不只是在2.25比特这个特定预算点表现好,它的优势是一个更宽的区间,在更极限的压缩场景下依然能多扛一会儿。

省下来的显存,到底能换来多少实际好处

说了这么多准确率,最后还得落回工程现实:这套方案到底能不能让推理服务跑得更快、更省钱?

研究者在单张A100-40GB显卡上实测了内存和吞吐量的变化。在批量大小固定为32的情况下,PN-Mix能支持生成长度达到32000个token,是FP16的8倍;在生成长度固定为8000个token的情况下,PN-Mix能支持的批量大小达到110,是FP16能承受的5.5倍。

更直观的是吞吐量对比。当FP16的显存还够用的时候,FP16反而比PN-Mix跑得更快一点,这是因为量化和反量化本身是有计算开销的。但FP16一旦超过20个批量就会显存溢出,被硬性卡死在469.8 tokens/秒这个上限。而PN-Mix可以一路把批量推到110,最终吞吐量达到1114.0 tokens/秒,是FP16能达到的最高吞吐量的2.37倍。

这个现象其实挺有意思的,它告诉我们一个道理:同等条件下更快,不代表整体服务能力更强。FP16像一辆跑车,百公里加速快,但油箱特别小,跑不远就得停;PN-Mix像一辆省油的车,起步可能慢一点,但能一直开下去、能拉更多的货。如果你的服务器资源永远够用,那跑车确实更合适;但现实世界里,显存永远是稀缺资源,这时候省油能跑得更远这件事,价值就远远超过了起步快那点优势。

论文还测了端到端延迟,在一个模拟奥数长链推理的场景里(批量1、提示词141个token、生成32000个token),PN-Mix相比Kitty,每一步解码的延迟增长速度降低了8.8%,总解码时间快了4到6.5个百分点。而且在测试的极限场景下(批量32、提示词141、生成32000个token),FP16和Kitty都直接显存溢出,只有PN-Mix能跑完整个流程,用了37.12GB显存。

这套方法也不是万能的

PN-Mix的核心前提是模型用了RoPE这种旋转位置编码,如果一个模型不用RoPE、没有这种成对的通道结构,那这套打分方法就得重新设计,不能直接套用。

另外,论文里报告的效率数据是在单张A100显卡、特定的Triton内核实现下测出来的,换到别的硬件、别的推理框架,具体的加速比例肯定会有所不同,这是任何系统优化类工作都绕不开的局限。

Q&A

Q1:PN-Mix是什么?

A:PN-Mix是一种针对大语言模型长文本生成场景的键值缓存混合精度量化方法,它通过分析查询向量和键向量的范数乘积,找出对注意力计算影响最大的RoPE通道对,给这些重要通道分配更高的存储精度,其余通道分配更低精度,从而在平均仅用2.26比特的情况下保持接近原始模型的准确率。

Q2:PN-Mix和之前的Kitty、ChanMix方法有什么区别?

A:Kitty和ChanMix只根据键缓存自身的数值统计(比如数值范围或大小)来判断哪些通道重要,而PN-Mix同时考虑了查询向量和键向量的交互关系,并利用RoPE把相邻通道两两配对的结构特点进行评分,实验显示这种方式在相同比特预算下能带来更低的注意力分布误差。

Q3:PN-Mix在实际推理效率上能带来多大提升?

A:在单张A100-40GB显卡上,PN-Mix支持的最大生成长度是FP16的8倍,支持的最大批量大小是FP16的5.5倍,最大吞吐量能达到FP16上限的2.37倍,同时解码延迟比同类压缩方法Kitty低4到6.5个百分点。

文章标签大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。