Token导航 LogoToken导航

AI 资讯 · 科技行者

KAIST与NAVER Cloud提出KV4-RL提升强化学习训练效率

更新 2026-11-17科技行者正文 5565字阅读约 18分钟

2024年的某个深夜,一群训练推理模型的工程师发现了一件怪事。

他们把GPU集群里的生成速度从"同步等待"改成了"异步插队",理论上应该快很多。实际跑起来确实快了,整个批次的利用率从惨不忍睹变成了相当体面。但奇怪的是,加速的幅度总是不如预期的那么夸张。显卡明明更忙了,但每一步解码花的时间也变长了。

这不是哪个具体团队的内部八卦,而是这篇论文想要揭开的系统性问题。KAIST和NAVER Cloud的研究者们把这个现象命名为"KV concentration"(KV集中化),并且顺着这条线索,造出了一个叫KV4-RL的加速方案。

这篇文章想聊的,就是他们怎么发现问题、怎么分析问题、最后怎么解决问题的全过程。

一个悖论:更忙的GPU为什么没有想象中快

先说说背景。现在训练推理模型(比如让AI做数学题的那种),常用的方法叫GRPO(Group Relative Policy Optimization,一种让AI对同一个问题生成多个答案,然后互相比较打分来学习的强化学习方法)。这类训练的核心开销,其实不是"学习"这一步,而是"生成"这一步,也就是让模型反复吐字,直到吐出完整的解题过程。

问题在于,AI生成答案的长度参差不齐。简单题三言两语,复杂题可能要写几千字的推理链。

传统做法是同步收集:一批任务一起开始,一起等待,直到最慢的那个写完。这就好比餐厅里一桌客人同时点菜,有人点了份快餐,有人点了需要慢炖两小时的硬菜,服务员必须等所有菜都做好才能一起上桌。那些点快餐的客人的座位,在这两个小时里白白空着,没法接待新客人。

异步收集的思路是:谁写完了,谁的座位立刻放进新客人。这样座位利用率确实提高了。但研究者们发现了一个此前没人仔细算过的代价:座位周转快了,但每次上菜前厨房要处理的"记忆量"也跟着暴涨。

这个"记忆量",专业说法叫KV缓存

KV缓存:Key-Value Cache,AI模型在生成文字时,为了不用每次都重新"回忆"前面说过的所有话,会把之前每个字的关键信息(Key)和对应内容(Value)存起来,后面生成新字时直接查这个缓存,不用从头推理一遍。

想象一下,如果让你一边聊天一边完全凭记忆复述前面说过的每一句话,那太累了。AI也一样,它用KV缓存把"已经说过的内容"存成一种速查表。

问题是,异步调度让更多的长对话同时"挂在"系统里。研究者用一个真实的训练追踪发现,异步收集让每一步平均要处理的KV缓存体积暴涨了7.82倍,每一步解码的耗时也跟着涨了4.52倍。虽然并发数量上去了,带来1.83倍的吞吐提升,但这部分收益,被更贵的单步成本吃掉了一大半。

这就是论文的第一个核心发现:异步调度虽然消灭了"空座率",却把原本分散在很多轮次里的记忆负担,压缩进了更少、更重的几轮里。这不是异步调度本身的问题,而是一个数学上必然的结果,只要响应长度参差不齐,这种"集中化"效应就一定会发生。论文里甚至给出了严格的数学证明,证明在理想化的持续补位模型下,这个集中化因子一定大于等于1。

那么,面对这个被集中化了的记忆负担,该从哪里下刀减肥?

为什么瘦身要瘦在KV缓存上,而不是模型本身

这里要先说清楚一个背景知识。给AI模型"瘦身"加速,业界常见的思路主要有两种。

一种是压缩模型权重本身,比如把原本用16位小数存储的参数,压缩成4位整数,这叫权重量化。另一种是把推理过程中的中间计算结果也压缩,这叫激活值量化。这两种方法在学术界已经被研究得很充分了。

这篇论文的研究者做了一个"曲线对比":他们把早期、中期、晚期三个训练阶段的真实负载抓出来,分别用权重量化、激活值量化、KV缓存量化这几种方案跑一遍,看谁跑得快。结果很明确:在高并发、长对话的场景下,权重量化几乎没有加速效果,有时候反而比不量化还慢。而KV缓存量化,尤其是压到4位整数的INT4,能带来1.5到1.9倍的解码加速。

这个结果其实不难理解,只是容易被忽略。

当GPU上同时跑着几百个对话时,模型权重只需要加载一次,就可以被所有对话共用。但每个对话自己的历史记录是没法共用的,你记得的事情和我记得的事情不是一回事。并发越多,权重的加载成本被摊得越薄,而KV缓存的处理成本,则随着每个对话自己的长度线性增长,谁也替代不了谁。

这就好比一个大型会议室,投影仪(模型权重)只需要开一次机,所有参会者都能看到屏幕。但每个参会者自己的笔记本(KV缓存)必须自己带、自己管。会议室里塞的人越多,投影仪开机的成本摊得越薄,但笔记本的总重量只会越堆越高,这堆行李才是真正让人腰酸背痛的负担。如果只想着给投影仪减重,而不管那堆越积越多的笔记本,瘦身计划注定收效甚微。

所以,结论很清楚:要给异步推理瘦身,刀要砍在KV缓存上。

把精度砍到4位,会出什么乱子

把KV缓存从16位压到8位,研究者发现模型学习的效果几乎没有损失。但如果继续激进地压到4位整数呢?这时候麻烦来了。

这里要先插入一个关键背景:在强化学习训练里,AI生成的每一个回答,不只是给人看的最终输出,它同时也是接下来训练这个模型的"教材"。

这就带来一个微妙但致命的问题。如果生成答案时用的数值精度(比如INT4压缩)和训练时用的精度(通常是未压缩的BF16)不一致,那AI在"生成教材"和"学习教材"这两个阶段,看到的世界其实是略微不同的。这种偏差专业上叫采样器失配

采样器失配(Sampler Mismatch):生成答案用的模型(采样器)和后续用来计算训练梯度的模型,在数值计算路径上存在细微差异,导致两边算出的概率不完全一致。

为了纠正这种偏差,业界已经有一种标准做法叫TIS(Token-level Truncated Importance Sampling,词元级截断重要性采样),简单说就是给每个字重新算一个"修正系数",补偿两边概率算得不一样带来的偏差。

论文做了一个关键实验:同样用TIS修正,8位KV缓存训练出来的模型,几乎和不压缩的原始模型(BF16)表现一致。但4位KV缓存训练出来的模型,在数学题测试集MATH-500上,最终比原始模型低了整整5.24个百分点,而且后期本该持续提升的学习曲线,直接停滞不前了。

这说明一件很反直觉的事:事后补救的数学公式,没法完全抹平训练过程中产生的系统性偏差。TIS能修正"这个字的概率算错了多少",但没法修正"因为这个偏差,模型走上了一条本不该走的推理路径,生成了本不该生成的那个回答"。

这就好比考试时你用了一把刻度有点歪的尺子量图形,事后你可以把每个测量值乘以一个修正系数,让数字看起来准确。但如果你因为尺子的误差,一开始就画错了图形的形状,后面再怎么修正数字,也救不回那张已经画歪的图。

这个发现是整篇论文最关键的转折点:单纯追求数值精度的事后修正是不够的,必须从生成过程本身入手,减少偏差的产生,而不是单纯依赖事后打补丁。

KV4-RL的解决方案:把VIP待遇留给最重要的那几个位置

既然全部压到4位会出问题,全部保持8位又损失了大部分加速收益,那有没有折中方案?

研究者的思路是:不是所有位置的历史记录都同等重要。他们借鉴了此前inference领域已有的两个发现:一是注意力汇聚点现象(模型在生成时,总会特别关注序列最开头的几个位置,这几个位置像是整个对话的"锚点"),二是近期上下文更敏感(刚说过的话,比很久以前说过的话,对下一步生成的影响更大)。

基于这两个观察,KV4-RL的设计是:绝大部分历史记录依然用INT4压缩存储,但是序列最开头的16个位置和最近的128个位置,额外用INT8的精度再存一份副本。

这就像公司搬家时打包行李。大部分旧文件可以随便塞进普通纸箱(INT4),反正平时也用不上,压一压没关系。但是你的身份证、工作合同这几份最关键的文件(注意力汇聚点),还有你这周刚处理完、随时可能还要翻出来核对的文件(最近上下文),你会单独用一个结实的文件夹装好(INT8),不会和其他杂物混在一起。如果连身份证都随便塞进普通纸箱压皱了,后续办事肯定要出乱子,但你也没必要把所有旧文件都用高级文件夹装,那样搬家车根本装不下。

实验证明这个思路确实对症下药。用固定144个位置的保护预算做分配实验,发现把16个位置给汇聚点、128个位置给近期上下文,这种搭配比把全部预算都砸在任意单一区域效果更好,相比纯INT4能把关键的数值偏差指标(论文里叫共享前缀条件KL散度)降低7倍。而且这套保护机制不会随着对话变长而占用更多存储,无论对话有多长,额外保护的位置数量始终固定不变。

这里再补充一个术语。

Hadamard旋转:一种数学变换技巧,在量化之前把数值的坐标做一次特殊的线性组合,让原本可能存在的异常大值被"摊薄"分散到各个维度上,从而降低压缩时的精度损失。论文里发现,只对Key(检索键)做这种旋转效果最好,同时对Key和Value(存储值)都做反而没有明显提升。

工程实现上,KV4-RL还做了一个巧妙的设计:INT4存储了完整历史,INT8只存最近和开头的副本,两者是独立的两套缓存,计算注意力的时候分别算,最后用一个数学上严格等价的公式把两边的结果合并起来,不需要把INT4的数据先转换成INT8再计算,这样额外开销被死死限制住了,不会随着对话变长而失控。

真金白银的加速效果

说了这么多设计思路,最终效果到底如何?

论文在Qwen3-8B-Base和Qwen3-4B-Base两个模型上做了完整的端到端训练对比。

表格

模型规模 | 指标 | BF16基线 | KV8 | KV4 | KV4-RL

8B | 累计生成速度 | 1.00× | - | - | 1.80×

8B | 累计单轮训练速度 | 1.00× | - | - | 1.27×

8B | 训练后期(最后50轮)生成速度 | 1.00× | - | - | 1.97×

8B | 六项基准测试平均分 | 52.4% | 52.8% | 47.8% | 52.8%

4B | 六项基准测试平均分 | 47.0% | 46.6% | 46.2% | 46.6%

这组数据里有几个值得细品的点。

首先是加速效果确实显著,8B模型上累计生成速度提升了1.80倍,整个训练流程(包括学习更新这部分没法加速的环节)也提升了1.27倍。更有意思的是,训练进行到后期,因为AI生成的答案越来越长,KV4-RL的加速优势反而越来越明显,从训练开始时的1.45倍涨到最后50轮的1.97倍。这正好印证了前面说的逻辑:对话越长,KV缓存这个瓶颈越突出,压缩的收益也就越大。

其次是精度几乎没有损失。在六项数学测试的综合得分上,KV4-RL和未压缩的BF16基线几乎打平,8B模型上甚至还高出0.4个百分点,而纯粹的4位压缩方案(没有保护机制的KV4)则明显掉队,比基线低了4.6个百分点。

这组对比清楚地说明了一件事:单纯追求压缩比例是没有意义的,真正有价值的是在压缩和保真度之间找到那个恰到好处的平衡点

论文里还有个细节值得一提。到了训练后期,学习更新这一步的耗时占比,从一开始的小头变成了大头,8B模型上最后50轮里,学习计算占了整个训练轮次时间的60.5%。这意味着生成速度被压榨得差不多之后,下一个值得优化的瓶颈,已经转移到了模型更新这一侧,这也是论文作者坦诚指出的局限,KV4-RL解决的只是问题的一半。

写在后面

读完这篇论文,有几个地方让我反复琢磨。

第一个是"异步调度会增加单步负担"这个发现本身。这不是什么高深的新算法,而是对现有系统做了一次非常扎实的账本式分析,用数学证明加真实追踪数据,把一个大家隐约感觉到但没人系统量化过的现象讲清楚了。很多时候,工程上最有价值的突破,不是发明新东西,而是把已经存在、却被忽略的代价算明白。

第二个是TIS失效这件事。论文明确指出,事后的重要性采样修正,只能修正"概率算错了多少",没法修正"采样路径走偏了"。这个区分其实挺深刻的,它提醒我们,很多"打补丁"式的修正方法,解决的是症状层面的问题,而不是根源。如果一个系统在生成数据的源头就有偏差,那指望在后面用一个系数去修正,注定是治标不治本的。

第三个是那个16+128的保护位置分配,固定、不随上下文增长而膨胀。这种"有限预算下做精准投放"的思路,其实在很多资源受限的场景里都适用,不只是AI系统设计。

论文最后提到一个点我觉得值得单独拿出来想一想:现在很多前沿模型都在用更高效的注意力架构(比如混合注意力、局部注意力)来压缩KV缓存本身的开销,但作者认为,这些架构上的进步省下来的空间,最终还是会被更长的推理链、更大的并发数吃回去,同样的压力迟早会在新的技术天花板上重新出现。这个判断挺有意思,技术进步经常不是消灭了某个瓶颈,而是把这个瓶颈推到了一个更高的量级上重新出现。

所以问题可能不是"KV缓存量化能不能解决这个问题",而是"下一次这个瓶颈会以什么新面目再次出现"。

Q&A

Q1:KV4-RL是什么?

A:KV4-RL是KAIST等机构提出的一种强化学习训练加速方案,核心思路是把AI生成答案时用到的KV缓存压缩成4位整数存储,同时对最开头和最近的少量关键位置保留8位精度做保护,从而在不明显损失模型学习效果的前提下,大幅加快异步推理训练的速度。

Q2:为什么异步调度反而会让单步计算变慢?

A:因为异步调度让更多长度不一的对话同时留在系统里继续生成,这会把原本分散在很多轮次里的历史记录处理工作,压缩集中到更少但更重的几轮解码步骤中,导致每一步要处理的KV缓存体积暴涨,单步耗时随之增加,这个现象论文中称为KV集中化。

Q3:为什么不能直接把KV缓存压到4位整数就完事?

A:因为强化学习里AI生成的答案本身就是后续训练用的数据,如果生成时用的数值精度和训练时不一致,会导致采样路径发生系统性偏差,即便用重要性采样做事后修正也无法完全弥补,实验显示纯4位压缩会让模型学习效果明显掉队,最终综合得分比未压缩方案低4.6个百分点。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。