Token导航 LogoToken导航

AI 资讯 · 科技行者

GLM-5.3推理服务中缓存比计算还慢的发现

更新 2026-11-20科技行者正文 6194字阅读约 20分钟

你肯定听过这句话:计算机世界里,读缓存永远比重新算一遍快。这几乎是所有工程师的本能直觉,就像你不会把算过的数学题再算一遍,而是直接抄答案。

但有一组工程师发现,这个直觉在他们的系统里彻底失灵了。

他们在给一个叫GLM-5.3的大模型做推理服务,这是一个超大规模的混合专家模型

MoE:混合专家模型,一种让模型的不同部分负责处理不同类型任务的架构设计,可以在不显著增加计算量的前提下扩大模型规模。

跑在8块英伟达B300显卡组成的节点上。为了让长文本处理更快,他们给系统加了一层共享缓存,存放之前算过的注意力数据,指望着下次有相似请求时能直接复用,省下重新计算的时间。

结果呢?打开这个缓存功能后,系统的中位数延迟几乎没变,但最慢的那1%请求(p99延迟)从3.96秒飙升到了17.3秒。工程师们一度把这个功能整个回滚了。

这篇论文讲的就是他们怎么揪出问题根源,又怎么把这个"拖后腿"的缓存系统改造成真正能提速的东西。故事的核心只有一句话:读缓存这件事,本身也是有成本的,而这个成本,很多时候被严重低估了。

缓存慢在哪,得先搞清楚模型怎么用显卡

要理解这篇论文,得先知道这套系统长什么样。

GLM-5.3用的是一种叫MLA的注意力机制

MLA:多头潜在注意力,DeepSeek系列模型提出的一种技术,把每个词元的键值信息压缩成一个共享的低秩向量,让存储这些中间结果所需的空间大幅变小。

这种设计的好处是,不管模型有多少个注意力头,每个词元需要保存的中间数据量是固定的,很小。在这篇论文的场景里,FP8精度下每256个词元打包成一个"块",一个块只有12.4MB,平均到每个词元只有48.4KB。

因为长文本的处理特别费显卡,工程师们还用了一种叫"预填充上下文并行"的技术

PCP:预填充上下文并行,把一段长文本切成几份,分给多块GPU同时处理,处理完后各个GPU要通过网络通信把结果同步给所有人,这样每块GPU才知道完整的上文信息。

在这套系统里,一个节点上的8块GPU(学术上称为"8个rank")像是拧在一起的齿轮,每一步都要互相通信同步,只要有一个慢了,其余七个都得等着。

缓存系统分成两层:离GPU近的一层存在本地内存里(L1),速度快但容量有限;离得远的一层存在一个叫Valkey的键值数据库里(L2),容量大,而且所有的推理引擎都能共用,相当于一个公共图书馆。

问题就出在L2这一层。

这就好比你开了一家连锁奶茶店,每家店自己记账(L1),但为了总部能统一查账,所有店铺的流水都要写进同一本总账(L2),而这本总账只有一个会计在记。生意好的时候,八家店同时要写账,结果全都堵在会计那里排队。如果没有这个总账,每家店自己记自己的,反而互不干扰,速度更快,但总部就没法知道别的店算过的东西能不能直接复用了。这正是单一Valkey实例面对八个GPU并发请求时发生的事。

一个加法减法就能算明白的成本模型

工程师们没有瞎猜,而是建了一个简单到只有两项的数学模型,来回答"这次缓存命中到底划不划算"这个问题。

公式很直白:重新计算要花的时间,等于词元数除以GPU的处理速度;而从缓存加载要花的时间,等于一个固定开销,加上数据量除以缓存能提供的带宽。

这里面藏着一个关键的临界点,叫"收支平衡带宽"

B*:缓存必须达到的最低传输速度,等于每个词元的数据大小乘以GPU每秒能处理的词元数,低于这个速度,读缓存就注定比重新算还慢。

对GLM-5.3在B300上跑的这套配置来说,算出来的B*是2.53 GB/s。而实测中,单个Valkey实例最多只能提供1.71 GB/s,连及格线都够不着。

这就好比你开车去машина修理厂,修理厂告诉你"我们这儿流水线很快,自己掏零件比等快递还快"。如果快递送零件的速度比流水线消耗零件的速度还慢,那等快递就是纯粹的浪费时间,无论快递公司多守时都没用。重点从来不是快递准不准时,而是它跑不跑得过流水线的消耗速度。

更麻烦的是,公式里还有一个"固定开销"项,记作T0

T0:每次缓存命中都要付出的、不随带宽变化的固定时间成本,包括调度、查找、未命中部分的补算和多卡间的数据广播同步。

工程师们通过一个实测点反推出T0约等于0.33秒。这意味着,即使带宽无限大,一次缓存命中也至少要花0.33秒。而对一个16000词元的提示词来说,重新计算只需要0.31秒。算一笔账就知道,命中的提示词长度必须超过大约17000个词元(等于GPU速度乘以T0),缓存才有可能比重新算快,否则无论带宽多大,缓存永远输。

这个模型厉害的地方在于,它不是用来解释已发生现象的马后炮,论文里特意拿出三组没参与拟合的独立测试数据去验证,预测值和实测值高度吻合,误差控制在个位数百分比内。

同步加载为什么会把系统拖进死循环

发现带宽不够只是第一层问题,第二层问题更隐蔽,也更致命:同步加载方式。

在这套系统的原始设计里,当一个请求命中缓存时,GPU这边的工作流程会暂停下来,专门等缓存数据加载完成,加载完了才能继续往下跑。而前面说过,8块GPU是绑在一起同步前进的,只要有一个在等缓存,另外七个也只能干等着。

这就形成了一个排队论里的经典场景:单服务窗口的队列。

论文里用利用率ρ(请求到达速率乘以每次服务所需时间)来衡量这个队列是否健康。当ρ小于1,队列能稳定运转;一旦ρ超过1,队列会越积越长,永远消化不完。

实测数据触目惊心:用单个Valkey实例、同步加载的配置下,ρ算出来是1.13,已经超过临界点。结果是,系统运行的前三分之一时间里中位延迟还是3.52秒,到最后三分之一已经飙到52.30秒,最多时有59个请求同时堵在引擎里排队,而GPU的实际利用率只有7%。

这组数字拆开看更吓人:83.32秒的p99延迟,意味着每100个请求里最慢的那个,用户要等超过一分钟才能看到第一个字出来。而GPU利用率只有7%,说明这块昂贵的硬件九成以上的时间都在闲置等待,纯粹被缓存系统的堵塞浪费掉了。

这就像一条高速公路,收费站只开了一个窗口,而且规定所有车道的车必须同步过关:一辆车慢了,后面所有车道全部停摆。车流量一旦超过收费窗口的处理能力,排队的车会越积越多,永远散不开,哪怕路本身再宽敞,车再多,通行能力也永远卡死在那一个窗口上。如果换成每条车道各开一个窗口,互不干扰,车流立刻就能跑起来。

把缓存拆开存,让每块GPU管自己的那一份

找到病根后,解决方案的思路其实挺自然:既然瓶颈是"所有数据挤在一个会计那里",那就给每个会计发一本自己的账本。

具体做法是把MLA的KV缓存按块索引切分,分给8个rank各自负责。

论文里管这叫"分片存储":每个256词元的数据块按照编号对8取余,决定归哪个rank管,该rank只负责存储、查找和加载自己名下的块,别的rank不碰。

这里有个很精巧的数学证明,值得专门说一说。原本的调度器查找逻辑是,向每个rank问一句"你这边缓存命中到第几个块",然后取所有答案里最小的那个值,作为整个提示词能复用的最长前缀。工程师们证明了,哪怕把存储分片了,这套"取最小值"的查找逻辑依然完全正确,不需要改一行新协议代码,因为只要某个块缺失,拥有它的那个rank自然会报告出那个缺口的位置,取最小值自动就定位到了真正的断点。这个证明不仅是理论推导,还在多达800个块的随机场景下做了穷举验证。

分片之后还有一个坑必须填上:加载顺序不能乱。因为8个rank必须同步推进,不能有一个rank因为本地缺块就直接跳过某次集体通信,不然程序就会卡死。论文设计了一套协议,让每个rank无论本地情况如何,都严格按相同顺序走完"取数据、交换指纹信息、协商出一致的可用前缀长度、按归属广播数据"这几步,确保哪怕某个rank本地出错,大家依然能达成一致,不会有人掉队。

拆完存储之后,顺理成章的下一步是拆服务器:原来8个rank挤在一个Valkey实例上抢流水线,现在每个rank配一个自己专属的Valkey实例,谁也不碰谁的数据,完全不需要复杂的分布式协调协议或者哈希路由。这个改动带来的带宽提升非常直接:从1.71 GB/s一口气涨到10.76 GB/s,整整6.3倍。

这就好比原来八个部门共用一台打印机,天天排队,现在直接给每个部门配一台属于自己的打印机。打印任务互不干扰,整体吞吐量自然翻着跟头往上涨。如果继续共用一台,哪怕打印机本身再快,八个部门抢着用,瓶颈永远在"抢"这件事上,而不在打印机的性能上限。

异步加载加上三个潜藏多年的客户端bug

拆分存储解决了带宽问题,但论文团队没有止步于此。既然前面算过,就算带宽拉满了,单次命中还是有个躲不开的固定成本T0,那能不能至少别让这个成本拖累整个系统的稳定性?

答案是异步加载:让缓存加载这件事不再卡住GPU的主流程,一个请求的加载慢了,只耽误它自己,其他请求照常跑。

但异步加载在原来的系统里是为普通的张量并行设计的,默认只有rank 0负责查找。工程师们把这套逻辑扩展到分片模式下,确保每个rank只预取自己名下的数据块,并且对"某个rank完全没有命中"这种边界情况做了修正(原来会错误地报告0个词元命中,而分片模式下真实答案可能是256个词元,因为块0的归属权在别的rank手里)。这处改动用3000组随机命中模式做了属性测试验证。

排查过程中还揪出了三个藏得很深的客户端bug,每一个都会导致请求无限期卡住,而且GPU的运行轨迹上完全看不出任何活动,排查起来格外费劲。

第一个bug是"丢失的完成通知"。原本的客户端代码是先把请求发出去,然后才去注册一个用来接收结果的"回执单",但如果结果在这两步之间的空档期就已经处理完了,这个回执就会直接被扔掉,调用方会永远卡在等待结果的地方。分片存储把这个问题放大了8倍,因为原来只有一次查找会受影响,现在每个rank都会查找,暴露的窗口期也乘了8。有一次生产环境里,某个引擎连续16次请求全部超时,排查发现所有查找线程都卡在等待结果上,而实际上根本没有任何待处理的任务在排队。

第二个bug更隐蔽,和网络协议的字节数对不上有关。Redis系列数据库用5个字节的特殊字符串表示"这个键不存在",但客户端代码固定按11字节去读取响应,读不满自然就永远读不完,连接也就废了。在缓存淘汰策略(LRU)的作用下,一个数据块完全可能在"查找"和"真正加载"这两步之间的空档期被淘汰掉,这种情况一旦发生,加载就会直接卡住10秒(系统设置的超时上限)才能恢复,而且这10秒里全部8个GPU都在陪着空等。

第三个bug是异步加载请求用错了键名,查找用的是一套命名方式,取数据用的却是另一套,结果除了rank 0之外的其他rank查到了数据存在,真去取的时候却发现根本取不到,连带着暴露了前面那个bug。

这三个bug单独看都不起眼,可它们恰恰说明了一个容易被忽视的道理:复杂系统里,真正拖垮性能的往往不是算法本身不够优,而是那些平时概率很低、但一旦触发就卡死全局的边角情况。

| 配置 | p50延迟 | p99延迟 | GPU利用率 |

|---|---|---|---|

| 单实例,同步加载 | 9.70秒 | 83.32秒 | 7% |

| 单实例,异步加载 | 3.20秒 | 3.82秒 | 28% |

| 8实例,同步加载 | 0.41秒 | 0.80秒 | 21% |

| 8实例,异步加载 | 0.41秒 | 0.73秒 | 20% |

| **8实例,异步加载,全部修复** | **0.40秒** | **0.67秒** | 22% |

| 纯重新计算(对照组) | 0.31秒 | 1.28秒 | 0.8% |

这张表格最值得玩味的一行是最后的对比:全部修复完的缓存方案p99是0.67秒,比纯重新计算的1.28秒还要稳定,但中位延迟0.40秒,仍然比重新计算的0.31秒慢了0.09秒。论文坦诚地指出,这部分差距几乎全来自前面说的那个T0固定成本,不是靠堆带宽能解决的,要真正追平甚至反超重新计算的速度,得从算法本身去压缩这个固定开销,比如把多次广播合并成一次,或者让数据获取和元信息交换重叠进行。

除了延迟,吞吐量也是实打实提升的。在8块B300同时处理8个20万词元级别超长提示词的压力测试里,光是分片存储这一项改动,就把吞吐量从每秒4.32万词元提升到4.94万词元,涨了14%。排查过程中工程师们还顺手发现了一个跟缓存无关、但同样拖累速度的内核效率问题,FlashInfer库里一个融合算子因为专家并行机制导致大量线程块在处理不属于自己的数据,占了17%的GPU时间,换了一版官方提供的优化内核实现后,这部分耗时从1.57毫秒压到0.23毫秒。两项改动叠加,吞吐量冲到每秒5.73万到5.80万词元,提升34%,已经逼近完全关闭缓存系统时的水平,差距只有4%到5%。

最后,团队没有止步于实验室数据,而是把全部改动搬到了真实的五节点生产环境里跑了一遍企业SLA压力测试,四个预填充节点加一个解码节点的配置下,首字延迟的中位数、90分位数和均值全部达标,而且单节点的吞吐效率(每分钟处理的词元数)达到255万,是原来聚合部署方式的3.6倍左右。

写在后面

这篇论文最让我意外的一点,其实不是那套巧妙的分片设计,而是T0这个固定成本的存在本身。

工程师们一开始以为问题只是"带宽不够",这是个很直觉的判断,加带宽、拆实例,问题应该就解决了。但算出17000词元这个门槛之后才发现,哪怕带宽做到无限大,短提示词的缓存命中依然赢不了重新计算。这说明性能优化这件事,有时候真正的瓶颈不在你盯着的那个维度上,而是藏在一堆看似无关紧要的"固定开销"里,调度、查找、广播同步,每一样单独看都是毫秒级的小事,叠加起来却能定义整个系统的可行性边界。

另一个值得玩味的细节是,这三个客户端bug在系统用单一存储、同步加载的旧架构下几乎从未暴露过,是分片和异步化这两个"正确的改进"把它们的触发概率放大了8倍,才被工程师们撞见。这是个挺反直觉的现象:你为了解决一个问题做出的改动,有时候反而会把另一个一直潜伏的问题推到台前。这大概也是为什么论文里反复强调,每一个修复都配了专门的回归测试,因为在这种多卡同步的系统里,一个看似无关的小bug真的能让整台价值不菲的GPU集群陷入近乎瘫痪的空转。

如果你的系统里也有一层"理应更快"的缓存,不妨问一句:它交付数据的速度,真的追得上你计算资源消耗数据的速度吗?

Q&A

Q1:为什么论文里说的缓存读取有时候会比重新计算还慢?

A:因为缓存传输需要带宽支撑,论文算出一个临界值B*,等于每词元数据量乘以GPU处理速度,当实际缓存带宽低于这个值时,读缓存反而比直接用GPU重新算还慢,单个Valkey实例实测只有1.71GB/s,远低于所需的2.53GB/s。

Q2:什么是MLA多头潜在注意力机制?

A:MLA是DeepSeek系列模型提出的注意力设计,把每个词元的键值信息压缩成一个所有注意力头共享的低秩向量,这样存储的中间数据量很小,且不随注意力头数量增加而变大,是GLM-5.3用来降低显存和存储开销的核心技术。

Q3:论文提出的分片存储方案具体解决了什么问题?

A:原方案中所有GPU的缓存数据都写入同一个存储实例,造成排队拥堵。分片方案按数据块编号把存储分配给不同GPU各自负责,并配上各自独立的存储实例,带宽从1.71GB/s提升到10.76GB/s,整体p99延迟从83.32秒降到0.67秒。

文章标签大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。