AI推理的扩产,是否只能依靠增加GPU?
华瑞指数云披露的一项客户联合验证,给出了另一种可能:24张GPU加一个WQS存储节点,实现了与48张GPU方案相当的Token产能。这意味着,改善上下文的保存和调用,可以提高GPU的利用效率,让已有算力承担更多业务,为企业提供了新的算力扩产思路。
这一提升算力利用效率的技术新方向,也获得了资本的支持。近日,华瑞指数云宣布完成新一轮超亿元融资,由琮碧秋实投资与另一家基金联合领投,某国有产投基金跟投。本轮资金将重点投入AI原生KV Cache存储系统WQS的持续研发与规模化交付、软硬协同设计及全栈I/O(Input/Output)优化,以及市场与客户服务体系建设。
华瑞指数云选择从上下文入手,不只是能把更多数据存下来,而是让模型已经完成的中间计算都能够保留、共享和复用,并在需要时快速送回GPU。减少GPU的重算和等待时间,既有助于加快用户获得回答的速度,也能让已有GPU承担更多推理任务,降低单位服务的算力与能耗成本。
在华瑞指数云联合创始人兼CTO曹羽中看来,推理系统需要在满足响应速度要求的前提下,支撑更多业务。“上下文存得更多、取得更快,最终要体现为更多Token产出和更低的服务成本。”他认为,关键点在于GPU少等数据、多处理任务,才能在AI基础设施中占据关键位置。
上下文存储,正在成为AI基础设施的新一层
过去,芯片数量一直是观察AI基础设施投入规模最直观的一个指标。但随着AI进入推理阶段后,芯片能承接多少任务,不仅受到数量影响,还受到上下文处理效率的影响。
因为推理场景会重复使用历史数据,尤其是多轮对话、代码助手、Agent在检索信息、调用工具和执行任务时,会不断积累上下文。随着应用深入业务流程,上下文持续增加,其中一些已经处理过的内容,还会被反复使用。
对已经处理过的内容,系统可以保存其中可复用的中间计算结果,保存在KV Cache(键-值缓存)中。在模型配置和上下文等条件匹配时可以直接调用,减少重复计算。
但问题在于,保存结果需要空间。GPU显存不仅容量有限、成本较高,还要同时容纳模型和活跃推理状态;随着会话变长、同时处理的请求增多,可用于保存缓存的空间就可能不足,超出单机能够承载的范围。
显存空间不足,会带来两种损耗:一是重复计算,即缓存被清理后,后续请求需要重复计算已经计算过的内容;二是数据等待,即缓存移到显存之外后,若取回速度跟不上,又会让GPU等待。尤其在长上下文、高并发和缓存复用密集的场景中,上下文读写与传输是决定系统效率的关键瓶颈。只是单纯增加GPU,并不能自动消除这两种损耗。
因此,存储不能只是推理系统的后台配置,还要支持实时服务。
产业巨头已经开始围绕这一变化调整架构。2026年1月,NVIDIA发布推理上下文存储平台,并在3月进一步介绍CMX架构:在GPU显存和主机内存之外,通过网络连接闪存,建立专门的共享上下文层,服务长上下文和Agent推理。

言下之意,上下文存储正在成为AI基础设施中一个明确的新层次。
而曹羽中敏锐地抓住了其中的机会。在他看来,随着推理进入各行各业,存储的投入也会持续增加,并逐步成为需要与算力并重规划的核心投资。“算力决定计算的能力,上下文I/O决定这些能力能否持续、高效地发挥。未来的基础设施建设,需要把两者放到同一个产能账本上。”
华瑞指数云看到的机会,是针对AI推理重新设计上下文存储系统,并推出了自研存储系统WQS,让同样的算力支撑更多业务。
一般而言,像通用存储和并行文件系统这些已有存储,都可以保存KV Cache。既然如此,为什么不能直接把上下文保存在这些已有存储中,而是要从底层出发重做出一套专用的存储系统?
原因还是在于,调用KV Cache的成本账。
尤其对实时推理来说,每次调用已有存储中的缓存需要多少时间、占用多少资源,会影响GPU利用率和服务成本。
以通用系统为例,通用系统要兼顾多种业务,负载的需求多样复杂,会通过分层、抽象和解耦,把数据管理和读写处理分成不同层次,方便适配不同应用,以获得兼容性与灵活性。但KV Cache经文件接口存取时,需转换为文件访问,再经过文件管理和通用I/O处理。部分步骤并非缓存读写所必需,其额外开销在高并发下累积,会影响Token吞吐量和响应速度。
而且推理场景本身的特点,就给重做存储系统提供了条件。
其上下文有着明确的I/O特征。比如,数据写入后就不会修改,读写的数据量可以预先确定,可以根据内容寻址等。
推理框架还掌握着很多可用于读写优化的信息:哪些计算结果能够复用,哪些缓存块已经写完,哪些数据即将被消费,哪些内容不再值得保留。如果这些信息只留在推理框架中,底层存储收到的仍是一串普通读写请求;而将这些信息传给存储调度,系统就能够围绕实际使用顺序安排读取、预取和回收,减少无效搬运与等待。
为此,华瑞指数云的推理存储系统WQS选择了原生KV路线。它建立在华瑞指数云自研的分布式存储引擎WiDE之上,直接面向KV对象寻址,并统一管理SSD上的空间分配、布局与回收。配合用户态RDMA数据通路,并通过原生KV接口,WQS让缓存读写绕过不需要的通用文件系统处理和复杂目录管理,减少数据访问中的中间环节,实现了极致高效的并行I/O处理系统。
这与CPU和GPU的分工类似:通用架构覆盖广泛任务,专门架构围绕特定模式集中资源。WQS依靠明确的访问模式,重新组织数据路径,以获得更高效率;通用存储则继续服务其他类型的数据与业务。
曹羽中表示,华瑞指数云提出的“为AI上下文重新发明存储”,不仅要低成本保存更多可复用的计算结果,也要改变存储服务计算的方式。
优化推理场景的I/O链路,要通过重新设计存储优化提高GPU的利用率,不能止于某单一组件的设计。因为推理框架调度、命中查询、网络传输、存储读写和GPU装载,都要围绕同一次上下文调用共同工作。
因此,WQS坚持全链路设计与软硬协同。
整条链路上,推理框架负责安排计算,也掌握下一步需要哪些数据;缓存组件管理计算结果的保存、查找和复用;存储引擎安排数据存放和并行读写;网络负责传输;DPU(数据处理器)还可以分担部分数据传输处理。
如果各层只通过通用接口各自工作,会丢失许多调度机会。而全链路协同设计,就能让数据一边加载,一边计算,减少GPU等待。例如,框架提前告知下一步需要哪些缓存块,系统就可以在当前计算进行时启动读取。部分读取时间与计算时间重叠,GPU接下来使用这些数据时,就能少等一段时间。缓存能够跨节点共享后,任务也不必只分配给保存了相关历史状态的那台服务器。
在缓存有效性、命中信息与可靠性得到保障的前提下,这既有助于减少重算,也能扩大集群的调度空间。
这种贯通,也在向硬件端延伸。
华瑞指数云正在推进与NVIDIA、AMD、昇腾等算力生态的协作,并与SSD及新型磁介质厂商开展协同设计,希望把上下文的访问顺序、生命周期和时延需求进一步用于介质优化。现有原生KV路径、全局共享和GPUDirect等能力已经用于客户联合验证;新型介质及面向不同算力平台的HBM到SSD的直通方案,是华瑞指数云研发重点发力的方向。
接入层面,WQS提供可共享的KV存储层,与vLLM、SGLang等推理框架,以及缓存管理和传输组件配合。华瑞指数云正推进相关生态对接,目标是让客户沿用现有框架,并根据业务需要,选择独立部署上下文存储,或将其与推理节点融合部署,获得AI推理的端到端加速效果。
“推理框架知道接下来要用什么数据,介质也有自己的并行能力。”曹羽中表示,“我们的工作,是让这些信息在整条链路上发挥作用,而不是在每一层都重新猜一次。”这样一来,减少各环节衔接中的等待,提高整套系统的推理效率。
性能翻倍,在客户的产能账本上体现软硬协同和全链路优化的收益,最终要看同样的算力能否在满足响应要求的前提下,支撑更多业务。
对Token工厂、模型API服务商和算力平台而言,首Token时延(TTFT)和Token平均输出间隔(TPOT)这两个指标,都要纳入考量。前者代表用户等待多久才能看到第一个输出,后者代表回答能否持续流畅。在满足这些要求之后,集群还能承接多少请求、输出多少Token,才是可以交付的产能。
在华瑞指数云披露的某大型Token工厂验证中,WQS采用独立存储节点部署,将可复用KV Cache从单机显存中扩展出来,供多台GPU服务器共享。在该项验证的模型与负载条件下,24张GPU加一个WQS节点,达到了与48张GPU方案相当的Token产能。
这一结果,为扩产提供了新的选择:企业可以比较增加GPU与增加上下文存储的效果,根据实际瓶颈分配预算。如果用较少GPU就能达到既定服务目标,除了设备采购,还可能节省相应的机柜、电力和散热支出。对客户来说,尽管要把新增存储、网络及运维成本一并计算才能得出最终收益,但客户决策的依据已经从“增加多少卡”,转向“怎样获得同样或更多产能”。
对于希望利用已有设备的企业,WQS还可以采用纯软件融合部署。在某大型企业的联合验证中,WQS以纯软件方式与现有推理节点融合部署,汇集内存和SSD资源构建共享KV Cache,无需新增硬件,首Token时延降低80%,Token吞吐量提升超过3倍。对于拥有自建推理系统的客户,这意味着可以先检验存量设备还有多少优化空间,再决定如何扩容。
两项案例,展示了上下文存储改善推理产能的不同部署方式。
面向不同客户、不同项目,华瑞指数云会结合模型、上下文长度、并发与缓存命中情况,衡量减少重算和数据搬运带来的端到端收益,让客户用实际业务检验ROI。
基于这些项目的积累,华瑞指数云面对不同客户时,就能洞悉到客户业务侧重点:对于Token服务商,是降低满足服务要求的单位Token成本;对算力平台和智算中心,是提高现有资源的服务能力;对金融等自建模型的企业,是让有限预算支持更多员工和业务。
六年底层研发+生产交付,铸造核心壁垒这一系列性能提升,离不开底层存储能力的支撑——华瑞指数云自研的WiDE存储引擎。
2020年华瑞指数云创立之初,就启动研发了WiDE存储引擎。公司核心成员来自华为、腾讯、IBM、微软、EMC等企业,积累了底层系统研发与商业化经验。此后,团队基于WiDE引擎打造了WDS块存储、WFS文件存储和WQS推理上下文存储等产品,将同一套底层能力用于不同业务场景。
在曹羽中看来,从零自研底层引擎的价值,在新需求出现时尤为明显。面对AI推理提出的读写要求,团队可以直接调整引擎、数据结构与I/O路径,而不必局限于在既有产品外部增加适配层。这也是WQS能够采用原生KV架构的基础,而不只是给通用文件存储增加一层缓存接口。
这种底层能力曾通过公开评测得到检验。2023年,基于WiDE的WDS块存储,以2720万IOPS、该负载下0.217毫秒响应时延打破SPC-1企业级存储性能评测纪录;2025年,华瑞指数云自主研发的AI原生智能数据平台WADP也参加了MLPerf Storage v2.0公开评测,多项指标位居世界第一。
两项评测,分别检验了企业级存储与AI存储负载的读写性能,为团队开发推理专用系统提供了参考。
性能之外,华瑞指数云的另一大壁垒,来自长期生产交付实践。华瑞指数云介绍,WQS之外的块存储、文件存储等产品,已经运行在200余家客户的核心生产环境,覆盖金融、半导体、量化交易、自动驾驶和先进制造等行业。长期的生产环境实战运行,推动了团队持续完善故障恢复、数据保护、兼容适配和运维机制。
“做存储系统能够跑通I/O、跑出结果,可能只是做完了30分。”曹羽中说。剩下的工作,要在高并发、硬件故障、网络异常以及长期运行中完成。高并发和网络异常时,系统能否保持稳定;某个节点出问题时,服务会怎样恢复;框架和模型升级后,已有部署还能否稳定工作——这些问题,都需要在长期运行中检验和解决。
随着AI推理深入企业核心业务,这些积累也成为了WQS进入客户业务的重要基础,并构成华瑞指数云的核心工程壁垒。
从头部验证走向标准化,在新一轮AI Infra架构选择中脱颖而出如今,越来越多的企业业务环节,会涉及多轮对话、长上下文和Agent应用。推理会随着应用覆盖增加,持续服务更分散的企业和用户。
WQS瞄准的,正是这些需要提高推理效率的客户,比如模型API平台、Token工厂、智算中心和企业自建系统。虽然部署规模与硬件组合各不相同,但都需要应对上下文增长,并控制服务成本。对上下文存储而言,这意味着机会点既来自新增集群,也来自存量系统的改造与升级。
曹羽中判断,这个市场的增长空间,不只是增加SSD存储系统的采购,而是参与推理系统的架构选择。上下文如何留存、如何共享,算力和存储如何配置,将逐渐进入客户的常规建设规划。
因此在推理系统总体设计以及端到端性能优化过程中,WQS将作为独立产品位置存在,并把一次次联合验证变成可复制的部署与交付。
华瑞指数云认为,未来12至18个月是AI推理上下文KV Cache层方案与产品选择的重要窗口,希望抓住这一时期,推动更多项目从验证走向可复制的标准化交付。
据公司披露,2026年上半年华瑞指数云的合同额同比增长150%。在WQS方面,华瑞指数云正与多家头部大模型及Token服务厂商、头部金融企业和自建推理系统的行业客户推进合作,相关项目正在进入生产级PoC测试与验收推进阶段。
本轮融资将支持继续研发、部署适配和客户服务体系建设,推动WQS走向规模化交付。
“我们希望把WQS做成AI Infra建设中的基础组件和标准化产品。”曹羽中表示,客户应当能够根据算力规模和业务负载选择上下文存储配置,通过清晰的连接、组网和部署方式使用产品,减少对长期驻场调试和维护的依赖。围绕这一方向,华瑞指数云提出了未来12个月推动50家以上重点AI推理用户实现生产落地的目标,检验技术优势能否变成稳定的交付与服务能力。
当AI推理成为各行各业持续使用的服务,上下文存储的需求也有望伴随业务规模不断扩大。华瑞指数云希望争取的,正是这一新的基础设施位置:以规模交付的AI原生存储,服务越来越大的算力投入,实现极致的算力生产效率和推理产能。
本文为创业邦原创,未经授权不得转载,否则创业邦将保留向其追究法律责任的权利。如需转载或有任何疑问,请联系editor@cyzone.cn。







