Token导航 LogoToken导航

AI 资讯 · 科技行者

把KV缓存训练成小型神经网络的可行性探讨

更新 2026-11-17科技行者正文 7179字阅读约 23分钟

你有没有遇到过这种情况:跟一个AI助手聊了很久,聊到后面它突然开始"失忆",忘了你前面提过的细节。这不是bug,这是故意的。因为AI模型能记住的内容是有上限的,一旦聊天记录太长,系统就得想办法"瘦身"。

Claude和ChatGPT最近都上线了一个叫"上下文压缩"(context compaction)的功能,简单说就是把旧的聊天记录压缩成一段摘要,用摘要替代原文。

听起来挺合理吧?但这里有个致命问题。

**摘要这种压缩方式,本质上是"提前猜题"。**

写摘要的人(或者AI)在压缩的那一刻,并不知道你后面会问什么。他只能凭直觉判断哪些信息重要,哪些可以舍弃。可万一你后面问的恰好是那个被舍弃的细节呢?摘要已经写死了,信息已经丢了,没法补救。

这就像你去图书馆查资料,管理员觉得某本书太厚太占地方,自己先读了一遍,写了个两页纸的读书笔记放在那里,把原书撤走了。如果你要查的内容正好在读书笔记里,没问题。可如果你要查的是读书笔记作者觉得"不重要"而跳过的那个脚注呢?你就再也查不到了,因为原书已经不在了。**如果不保留原始信息的某种完整映射,压缩这件事就必然是在赌一个你还不知道的未来问题。**

这正是这篇论文要解决的问题:在还不知道用户会问什么问题之前,怎么把一份长文档"压缩"进AI的记忆里,同时尽量不丢失关键信息?

问题到底难在哪

先弄清楚AI模型是怎么"记住"一份长文档的。

当你把一篇很长的文章喂给AI模型时,模型会把这篇文章的每一个词都转换成一组数字向量,存在一个叫做**KV缓存**(Key-Value Cache,键值缓存:模型处理长文本时,为每个词生成的两组数字向量,之后生成回答时要反复查这些向量)的地方。

这个KV缓存有多大?假设一篇4000字的文档,一个28层、每层8个注意力头的模型(像本文用的Qwen3-1.7B),得存下几千万个数字。文档越长,缓存越大,占用的显存越多,模型回答问题时查这个缓存的速度也越慢。

所以压缩KV缓存,道理上和压缩文字摘要类似,都是想办法用更小的空间装下尽量多的有效信息。但KV缓存不是人类能读的文字,它是一堆高维数字向量,没法像写摘要那样"人工挑重点"。

目前业界已经有一些方法在做这件事,效果却远没有达到理想状态。

比如一种叫**KVZip+**的方法(给每一个KV缓存条目打分,依据是这个条目在"重建文档"任务中被注意力机制利用的程度),它的做法是:让模型试着用这份文档重建自己,看看哪些缓存条目在这个过程中被频繁调用,调用越频繁的就越重要,保留下来,其余的全部扔掉。

这听起来挺科学,但论文的实验数据很扎心:在RULER测试集(一套用来测试AI长文本理解能力的标准化测试,包含检索、问答、变量追踪等13类任务)上,当压缩比达到32倍(也就是把原本100份的信息硬塞进3份的空间里)时,KVZip+的准确率只有40%。

40%是什么概念?意味着问它10个问题,有6个答错。这已经不是"压缩有损"了,这是"压缩到不可用"的地步。

论文作者的思路是:**如果死记硬背选出来的内容不够用,那能不能让这些被保留下来的缓存条目自己去学习,去调整自己的数值,让它们更贴近原始文档的表达效果?**

换句话说,不是从原始缓存里硬挑一部分扔掉剩下的,而是把压缩后的缓存当成一个可以训练的、有自己参数的小模型,用梯度下降去调教它,让它尽可能地"装得像"那个没被压缩过的完整缓存。

这就是本文提出的方法,叫**Latent Compaction**(潜在压缩:一种通过梯度下降训练出的、文档专属的压缩KV缓存方法)。

先选对起点:三类初始化种子

训练一个模型,第一步永远是初始化。初始化选得好,后面的训练才能事半功倍。

Latent Compaction的初始化思路很讲究,它把压缩后缓存里的每一个槽位分成三类,各自承担不同的职责。

第一类叫**Preserver**(保留者:依据KVZip+重建分数,在所有层和注意力头中统一排序后选出的高分原始缓存条目)。

说白了,这就是沿用了前面提到的KVZip+打分方法,把全局排名最高的那批原始缓存条目直接拿来用。这部分约占总预算的四分之三(具体比例可调),是整个压缩缓存里最大的一块。

为什么还要沿用KVZip+呢?既然前面说它效果不够好?

原因很简单。KVZip+选出来的内容确实是"统计意义上重要"的,只是它没有机会再去打磨自己,被选中之后就一直保持原样,没有调整的空间。这就像一个团队里的老员工,经验丰富但从不接受新的培训反馈。Latent Compaction决定先沿用这批老员工的判断力作为班底,但同时给团队注入一批会不断学习、不断调整的新人。

第二类是**Anchor**(锚点:通过让一批"教师查询"对文档做注意力计算,选出被关注程度最高的原始位置,另外固定包含文档的第一个位置)。

这部分占剩余预算的四分之一。选法是,先让完整版的(未压缩的)模型针对这份文档生成一批通用提示的回答,在这个过程中记录下模型的注意力集中在文档哪些位置,选出被关注最多的那些位置作为锚点。另外,文档的第一个位置总是被当作潜在的"注意力汇聚点"保留下来——这是因为之前有研究发现,Transformer模型普遍有把注意力集中到序列开头的习惯,哪怕开头内容本身不重要。

第三类是**Diversifier**(多样化点:在每一层每个注意力头内,通过"最远点优先"算法,依次选出与已选锚点或已选多样化点距离最远的新的原始键向量)。

这个设计挺有意思。它不管内容重要不重要,纯粹看"位置分布":每次从剩下的候选里挑一个,离已经选中的那些锚点和多样化点"距离最远"的那个。这样反复挑,直到凑够名额。

为什么要这么做?

想象你是一个摄影师,要给一座城市拍几张照片来代表这座城市的全貌。如果你只拍市中心最繁华的那几条街(这就相当于只用高分重要条目),游客看了照片会觉得"这城市挺现代的",但完全不知道郊区是什么样子,老城区是什么样子,公园绿地是什么样子。**如果照片全部挤在同一个区域,哪怕每张照片画质再高,拼起来也没法还原整座城市的真实面貌。**多样化点要做的,就是强制让取景范围覆盖到城市的各个角落,哪怕某些角落看起来"不那么重要"。

这三类加起来,构成了初始化阶段的全部内容:Preserver提供"统计重要性"的底盘,Anchor提供"注意力焦点"的指向,Diversifier提供"覆盖广度"的保证。

论文的消融实验证明了这套组合拳确实管用。如果把多样化点换成随机抽取的文档内容,Phonebook Lookup(电话簿查找:一种合成测试任务,文档里存了姓名和电话号码的对应关系,要求模型根据给定姓名找出正确号码)任务的平均准确率从80.67%暴跌到20.50%,几乎腰斩再腰斩。如果换成随机生成的高斯噪声向量,效果更差,只有19.75%。哪怕只是简单地换成文档最前面的那些内容,效果也只有43.50%,远不如精心设计的多样化选取策略。

这组数据说明一件事:**初始化不是随便填几个数字就能糊弄过去的事,选错了起点,后面再怎么训练都很难追回来。**

两阶段训练:先学模仿,再学做事

有了一个还不错的初始化起点,接下来就是真正的训练环节。Latent Compaction把训练拆成两个阶段,这个拆法本身就值得说一说。

### 第一阶段:注意力拟合

第一阶段的目标很纯粹:让压缩后的缓存在"注意力计算"这个具体环节上,尽可能表现得和完整版缓存一样。

这里要引入一个关键概念,**注意力机制**(Attention:Transformer模型里用来决定"当前该重点关注哪些历史信息"的核心计算方式,每次生成新内容时都要对所有历史信息做一次加权汇总)。

模型每次要生成下一个词之前,都得把当前的查询(Query)和缓存里所有的键(Key)做一次对比,算出一个权重分布,再根据这个权重去汇总所有的值(Value),得到最终的输出。这个过程里有两个关键的产物:一个是**注意力输出**(Attention Output:根据权重汇总后得到的向量,代表模型从历史信息里提炼出的"重点内容"),一个是**对数归一化常数**(log-normalizer:描述当前这次查询总共吸收了多少"注意力质量"的标量,反映这次关注的强度总量)。

论文的做法是,拿完整版缓存的这两个产物当"标准答案",让压缩版缓存通过调整自己的数值去逼近这个标准答案,具体用的是均方误差(MSE)损失。

值得注意的是,这个阶段里,Preserver这批内容是被冻住的,不参与训练,只有Anchor和Diversifier这两类会被更新。

为什么要把Preserver冻住?

这背后有个现实的权衡问题。如果一开始就让所有槛位都自由调整,训练初期梯度信号会很乱,相当于一群新人和老员工同时被要求"自己摸索怎么干活",场面容易失控。先把经验丰富的老员工(Preserver)的做法定死,让新人(Anchor、Diversifier)围绕着这个相对稳定的框架去调整自己,训练会更稳定。消融实验也验证了这点:如果第一阶段允许Preserver也跟着训练,Phonebook Lookup的平均准确率会从80.67%掉到33.42%,掉了将近一半。

另外,论文特别强调了对数归一化常数这一项损失不能省。如果去掉这一项,只匹配注意力输出,不匹配归一化常数,准确率会从80.67%掉到36.50%。

这个结果背后的道理值得琢磨。注意力输出告诉模型"该重点看哪部分内容",但归一化常数告诉模型"这部分内容到底该占多大的发言权",相对于后续新出现的内容(比如提问本身)而言。如果没有这一项校准,压缩后的缓存可能"看对了地方",但是"音量没调对",导致文档信息和新输入的提问信息权重失衡。

这就好比开会发言,你说的内容再对,如果声音大小没调好,该强调的地方说得太轻,该简略的地方说得太重,听众照样接收不到你真正想表达的重点。

### 第二阶段:端到端精炼

第一阶段只盯着"注意力这一个环节"做拟合,第二阶段的目标升级了,要让压缩版缓存驱动整个模型,产出的最终答案分布和完整版模型尽可能一致。

这里用到的是**知识蒸馏**(Knowledge Distillation:让一个小模型或简化版模型去模仿一个大模型/完整版模型的输出分布,从而学到后者的"知识")的思路,具体用的损失函数结合了KL散度(衡量两个概率分布差异程度的指标)和标准的语言模型损失。

论文还做了个有意思的简化:不是把整个词表的概率分布都拿来比对(这样计算量太大,存储也太贵),而是只比对教师模型(完整版缓存驱动的模型)给出的概率最高的20个候选词,剩下的全部词汇合并成一个"其他"类别,比较这个"其他"类别的总概率质量。

消融实验显示,这个简化版本和使用全词表分布的效果几乎一样(平均准确率都是80.67%),说明没必要为了"精确"而去承担不必要的存储和计算成本。这是一个挺实用的工程取舍:**没有必要为了理论上的完美,付出实际上不对等的代价。**

训练时长方面,论文也做了细致的探索。第二阶段如果训练步数从0增加到1000步,准确率明显提升(在不同上下文长度下提升6.75到15.50个百分点不等)。但如果继续往上加训练步数,准确率反而会略微下降,出现了过拟合的迹象。这提示一个很实际的经验:**不是训练越久越好,存在一个最佳停止点。**

怎么知道训练该往哪个方向走:教师巡回提示

前面提到的"完整版缓存驱动的模型"是训练过程中的监督信号来源,这个信号具体是怎么生成的?

论文设计了一套叫**教师巡回提示**(Teacher Rollouts:让完整版、未压缩的模型针对同一份文档,回答一批固定的通用提示,记录下它的真实回答作为训练监督信号)的机制。

具体说,针对每一份文档,准备了480条通用提示语,这些提示语和具体的下游测试问题完全无关,内容是诸如"总结这份文档的主要内容"之类的泛泛要求(24种文档类请求,搭配20种回答风格指令,排列组合出480种)。

让完整版模型针对这480条提示语分别生成最多24个词的续写,这个生成过程里产生的所有查询向量、所有的词概率分布,都被记录下来,作为第一阶段和第二阶段训练的监督目标。

这个设计的核心用意是,确保整个压缩和训练过程中,模型完全看不到下游评测要问的真实问题。这才是真正意义上的"无监督压缩"。如果训练过程中偷偷看了评测问题,那这个压缩效果就是作弊得来的,没有实际意义,因为现实场景里你永远不知道用户下一句会问什么。

这一点呼应了文章开头的核心矛盾:压缩必须在不知道未来问题的情况下完成。论文给出的答案是,用一堆"泛泛而谈"的通用问题去侧面摸清楚这份文档的整体结构和重点分布,而不是直接押题。

这就好比备战一场内容未知的面试,你没法提前知道面试官具体会问什么,但你可以通过大量的泛泛准备,比如梳理自己的项目经历、练习常见的行为面试问题,让自己对整体内容更熟悉、反应更敏捷。真正面试时具体问题即便和你准备的原题不完全一样,你也能举一反三应对。**如果押题押错了方向,复习的全部精力就白费了;但如果训练目标本身就不依赖具体题目,反而靠拓宽基础认知来补全知识结构的缺口,那就不存在"押错题"的风险。**

实验结果:数字说话

说了这么多设计思路,实际效果到底怎么样?论文在三个基准上做了验证。

**RULER测试**(长文本能力综合测试集,包含单点检索、多点检索、变量追踪等13种子任务)的结果显示,在16K上下文、32倍压缩比的设定下,Latent Compaction达到96.7%的准确率,而KVZip+只有40.0%,差距超过56个百分点。

这不是小修小补的提升,这是把一个"几乎不可用"的压缩方法,变成了一个"几乎和原版无差别"的压缩方法。

| 方法 | 32倍压缩准确率(RULER) |

|---|---|

| KVZip+ | 40.0% |

| **Latent Compaction** | **96.7%** |

但论文也很诚实地指出了局限:这个优势不是在所有条件下都成立的。在RULER测试里,当压缩比继续拉到更极端的水平(比如64倍以上),文本摘要方法反而开始反超Latent Compaction。而且在64倍压缩以上,所有压缩方法在Phonebook Lookup任务上的准确率都逼近于零,说明这个压缩难度的天花板是真实存在的,不是哪种方法能单独突破的。

**LongBench测试**(专注于自然文档理解的长文本基准)的结果显示,在Qwen3的0.6B、1.7B、4B三种模型规模上,Latent Compaction在16倍和32倍压缩下都稳定超过KVZip+和文本摘要方法。而在最轻度的4倍压缩下,Latent Compaction和KVZip+的表现相近,压缩程度越极端,Latent Compaction的优势就越明显。

**跨模型迁移验证**方面,论文还测试了这套方法在Qwen3-0.6B、4B、8B,以及另一个模型家族MiniCPM5-1B、2B上的表现。结果显示,这套方法不是只在某一个特定模型上凑巧有效,在不同规模、不同家族的模型上都观察到了类似的检索优势提升。

几个让人意外的细节

论文里有几个消融实验的结果,值得单独拿出来琢磨一下。

一个是关于**注意力偏置**(Attention Bias:给压缩缓存里每一个条目额外加的一个可学习的标量,用来在softmax计算之前调整这个条目的相对权重)的作用。去掉这个偏置之后,准确率只是轻微下滑(4K到16K上下文下降0.25到3.00个百分点),说明这个设计虽然有用,但不是生死攸关的部分。

另一个更有意思的实验是,**如果把压缩缓存和新输入内容(比如问题本身)的注意力权重简单地各占一半**,而不是按照论文设计的归一化常数去动态分配权重,结果是灾难性的。准确率直接从33.42%跌到几乎0%(0.17%)。

这个落差之大超出我的预期。本来以为这只是个"精细调优"级别的设计,结果发现它是决定整套系统能不能正常运转的关键开关。这说明,让压缩缓存和新输入内容公平地按照各自实际的"注意力总量"去竞争话语权,而不是人为规定一个固定比例,这件事远比直觉上看起来更重要。这背后的道理是,不同文档、不同问题,文档内容应该占的权重本来就是不一样的,强行规定一个固定比例,相当于用一个尺子量所有人的衣服尺码,必然有大量场景不合身。

写在后面

读这篇论文时,最触动我的不是最终的准确率数字,而是整个方法背后体现出的一种克制。

Latent Compaction完全可以在训练阶段偷偷掺入一点和下游任务相关的信息,这样做效果会更好,也更容易在论文里讲出一个漂亮的故事。但它坚持用完全通用、和评测问题无关的480条提示语去生成监督信号,这个选择在工程上其实增加了难度,因为你没法针对具体任务去调优,只能靠提升文档理解的"泛化质量"去硬碰硬。这种克制某种程度上比方法本身更有价值,它证明了即便不作弊,纯粹靠提升文档表征的通用质量,也能把压缩效果做到接近完整版模型的水准。

还有一点让我意外,训练步数不是越多越好这件事。直觉上大家都会觉得"多训练总没有坏处",但这里明确观察到了过拟合迹象。这提醒我们,哪怕是在为单篇文档做的、规模很小的定制化训练里,过拟合这个老问题依然阴魂不散,它不是只属于那些训练海量数据的大模型。

论文自己也承认了一个尚未解决的问题:每一份文档都要单独跑一遍这套训练流程,这个准备成本不算低。对于只会被查阅一两次的文档,这笔投入未必划算;但对于会被反复问询的核心知识库文档,这笔投入分摊下来就很值。这中间的取舍边界在哪里,论文没有给出明确答案,这应该是后续工作里最值得追问的方向。

一份文档,到底值不值得为它单独训练一套专属记忆?这个问题的答案,恐怕要看你有多在乎它。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。