IT时报记者 贾天荣
当大模型的竞争从“参数越大越好”走向“每秒能生成多少Token”，发生在GPU之外的算力竞争也正在变得越来越重要。
近日，中科曙光发布Token加速技术体系，以scaleFabric原生无损RDMA高速网络为底座，构建算、存、传三级紧耦合的Token加速通道。其中，能够让GPU直接驱动网卡、减少CPU参与通信的IBGDA技术，已在十万卡级大规模集群中完成验证，成为此次发布的一项重要技术突破。据了解，这是IBGDA技术在国内首次实现规模化落地。
对于普通用户而言，Token似乎只是大模型回答中的一个个“字”或“词”。但对于一座AI计算集群来说，Token背后牵动的是GPU、网络、存储之间复杂的数据流转。随着模型规模不断扩大，越来越多的GPU被连接起来，过去容易被忽视的网络通信和存储访问，正在成为影响模型效率的重要环节。
“算力不等于产出。”中科曙光高速网络互联产品部总工程师万伟在接受《IT时报》等媒体采访时表示，当前大模型越来越依赖分布式架构，模型推理过程中，Token相关数据必须在不同GPU、不同节点之间交互，“数据流转效率是影响Token生成效率的关键因素”。
编辑
GPU越多，网络越不能“拖后腿”
为什么一块GPU的事情，最终会变成整个网络的事情？原因在于，大模型正在越来越难以装进单块GPU，甚至单个节点。万伟介绍，随着模型参数量不断增加，很多情况下即使8张卡也难以容纳完整模型，因此需要采用模型并行等分布式架构，由多个节点共同完成推理。这意味着，一个模型产生Token的过程中，大量相关数据需要在多个GPU和节点之间不断交换。
在训练阶段，这种通信更加明显。多个GPU需要进行All-Reduce、All-to-All等集合通信，以完成梯度数据同步。由于训练中的通信具有较强同步性，一张计算卡稍慢，其他计算卡就可能跟着等待，通信时延增加会直接影响模型计算利用率，也就是MFU。
进入推理阶段后，网络依然是关键环节。目前大模型推理通常可以分为Prefill和Decode两个阶段。前者负责处理输入并生成KV Cache，后者负责解码输出。随着PD分离架构的应用，Prefill和Decode可能运行在不同节点，需要通过网络传递大量KV Cache。上下文越长，需要传递的数据量就越大，网络通信对首Token时延（TTFT）的影响也会随之增加。
这也解释了为什么如今衡量大模型体验，除了看GPU算力，还越来越关注TTFT和TPOT。前者反映用户等待模型输出第一个Token的时间，后者反映后续每个Token的生成时延。
网络通信一旦成为瓶颈，再强的GPU也可能“等数据”。“现在的大模型基本都基于Transformer架构，按Token进行处理。因此，Token是当前AI Factory最重要的产出，也是衡量AI效能和经济效益的重要指标。”万伟说。
从“GPU直连网卡”进一步走向“GPU管通信”
此次中科曙光发布的Token加速体系，核心思路并不只是让网络跑得更快，而是尽量缩短Token数据从计算到网络、再到存储的路径。
在计算环节，scaleFabric支持GPUDirect RDMA（GDR），让网卡能够直接读写GPU显存，绕过传统路径中的CPU内存中转，减少一次数据拷贝。
而IBGDA进一步向前走了一步。万伟解释，传统GDR主要解决了数据面的问题，但RDMA通信仍然存在控制面，通信任务的下发以及相关元数据处理仍需要CPU参与。IBGDA则将通信控制和数据处理进一步放到GPU侧，让GPU能够直接驱动网卡。
这对于当前越来越常见的MoE模型尤其重要。
MoE架构下，不同Token会被分发给不同专家，专家并行通信过程中会产生大量高频、并发的小消息。传统方式下，CPU需要参与这些通信任务的协调和调度，而IBGDA把这部分工作进一步交给GPU完成，从而降低小消息通信带来的额外开销。
“当前MoE已经成为大模型的主流架构之一，通信过程中存在大量并发的小消息传递，IBGDA对这类场景非常重要。”万伟表示。
从产业现状来看，这也是此次IBGDA规模化落地受到关注的原因。此前，IBGDA规模化应用主要由国际厂商推动，国产RDMA网卡与GPU直通的规模化案例相对较少。中科曙光方面透露，自研IBGDA技术已经在十万卡级大规模集群中完成验证，并已完成与DeepEP等通信框架的适配。
三条通道，打通“算—存—传”
如果说IBGDA解决的是GPU与网络之间的通信效率，那么Token加速的另一端，则是存储。
大模型正在出现“以存代算”的趋势。已经生成的KV Cache可以保存下来，在后续任务中复用，从而减少重复计算。与此同时，模型加载、训练数据读取、Checkpoint写入等环节，也都需要频繁访问存储系统。
因此，scaleFabric并没有把Token加速局限在网络本身，而是同时构建了存储直通能力。
其中，NFS over RDMA主要用于传统文件访问，例如训练数据加载和Checkpoint读写；NVMe over RDMA更多面向KV Cache等缓存数据场景；XDS则允许GPU显存通过RDMA网络直接访问远端存储，减少传统路径中的内存拷贝。三项技术可以根据具体业务组合使用。
万伟举例，在训练数据顺序加载以及Checkpoint读写中，可以采用NFS over RDMA；对于热点数据，可以使用Burst Buffer或NVMe高速闪存，再通过NVMe over RDMA进一步提升访问性能；KV Cache卸载及相关读写，则可以通过XDS让GPU直接访问远端数据。
“这三项技术是紧密耦合、协同工作的关系。”他说。
网络本身也需要足够快。中科曙光介绍，scaleFabric单跳转发时延最低可达260纳秒，网卡端到端时延低于1微秒；在部分三跳基准时延测试中，端到端时延较主流RoCE方案降低约63%。
国产算力“补单卡差距”，系统级优化成为一条路
此次技术发布还有一层产业意义。在先进GPU受制于供应等因素的背景下，国产算力卡与国际高端产品在单卡算力方面仍存在差距。如何在单卡性能之外寻找提升空间，成为国产AI基础设施需要面对的问题。
万伟认为，国内算力的发展正在更多依靠集群和多卡互联，通过增加计算卡数量、改善多卡之间的通信效率，满足大模型对算力的需求。
“国内AI基础设施的重要发展方向，是通过系统级创新提升整体性能，与国外依靠先进工艺获得的单卡性能竞争。”他说。
换句话说，当单块芯片的性能提升存在客观约束时，计算卡之间如何连接、数据如何流动，就成为另一条技术路线。
这也是scaleFabric希望构建开放生态的原因。中科曙光北京公司scaleFabric产品经理纵瑞博表示，scaleFabric采用开放架构，希望后续与更多国产厂商产品完成适配，在RoCE和NVIDIA InfiniBand之外，为产业提供高性价比的国产原生无损RDMA网络方案，并为不同GPU、CPU及其他硬件厂商提供技术支撑。
目前，在已经完成适配的部分国产生态和NVIDIA生态中，用户启用支持IBGDA的通信库即可使用，上层业务代码无需调整。对于其他国产加速卡，则主要涉及底层适配工作。纵瑞博表示，如果基于DeepEP框架，上层应用无需修改业务代码或框架即可运行。
从十万卡走向更大规模，真正的考验才刚开始
不过，随着AI集群规模不断扩大，Token加速并不是解决了一个通信瓶颈就意味着结束。
万伟坦言，未来网络整体稳定性仍然是挑战。除了性能，还需要关注长尾时延和故障恢复，“集群规模扩大以后，局部抖动可能在通信过程中被放大”。
因此，scaleFabric下一阶段将继续向更高带宽、更高交换容量演进，计划推出800G网络产品和网卡，同时支持多平面、包喷洒等能力。
对于未来十万卡、甚至更大规模的AI集群，网络已经很难再被视作单纯的“连接设备”。当模型拆分到越来越多GPU上，当KV Cache在计算节点和存储之间高速迁移，当MoE产生海量小消息通信，网络本身正在进入AI计算的核心环节。
中科曙光方面也预告，9月中下旬将发布大规模PD分离推理场景的实验测试报告，在相同GPU、相同架构和400G网络带宽条件下，对比scaleFabric与RoCE交换机在Token性能指标上的差异。
从“堆GPU”到“让GPU更充分地工作”，AI基础设施竞争正在发生一个细微却重要的变化：算力的上限依然由芯片决定，但最终有多少算力能够真正转化成Token，还要看算、存、传之间的数据能否顺畅流动。
对于正在迈向超大规模集群的大模型产业而言，这场发生在GPU背后的“网络加速”，或许会成为下一阶段AI基础设施竞争的一个关键变量。
