训练一个大模型,往往需要把计算任务分配给大量计算设备。这些设备在各自完成计算的同时,还要通过网络交换数据,才能共同推进训练。如果数据传输跟不上计算速度,部分设备就会停下来等待,整个任务的完成时间也会随之延长。随着参与计算的设备越来越多,如何减少设备之间的等待,成为超大规模智算集群建设绕不开的问题。
11月15日,第八届中国超级算力大会(ChinaSC 2026)暨中国智能计算产业联盟理事会年会在北京举行。中科曙光高速网络互联产品部总工程师万伟在会上分享超大规模智算集群高速网络架构设计与工程实践,提出高速互连是算力基础设施实现规模扩展的关键。

万伟这一判断对应着集群建设中的现实要求:增加计算设备的同时,需要让网络具备相应的连接、传输与管理能力,才能把新增算力充分用于实际任务。
集群规模扩大,连接方式也要跟着升级
此次大会发布的《万卡级智算集群网络技术发展与国产化研究报告》,是首份聚焦万卡级智算集群网络技术发展的研究报告。报告指出,集群规模不断扩大,网络互联、存储吞吐与资源调度等环节的协同效率愈发重要。对于建设者而言,这意味着设备采购之外,还必须考虑设备之间怎样配合。网络设计会影响数据传输路径,交换设备的连接能力则关系到集群能以怎样的架构扩展。
中科曙光将超节点内部互连与超节点之间的组网相结合。超节点可以理解为一组紧密连接的计算单元,内部通过低时延连接满足频繁的数据交换需求;多个超节点之间,再通过高速网络实现更大范围的协作。这种架构分别考虑局部通信与整体扩展,让不同范围的连接适应相应的任务需求。具体设计还需要兼顾供电散热、布线及维护条件,才能满足实际建设要求。
这套架构需要网络芯片提供相应的连接和交换能力。交换芯片的端口数量,影响一台交换设备能够连接多少设备;数据处理能力则关系到大量通信同时发生时,交换设备能否及时完成转发。中科曙光自研的scaleFabric高速网络将网卡芯片、交换芯片与组网架构结合,采用多平面组网,在单一子网内实现大规模互连,并结合任务特点和网络连接关系优化通信。芯片与架构相互配合,才能在连接更多计算资源时,兼顾设备之间的协作效率。
让数据稳定传输,减少计算设备空等
设备连接起来之后,网络面临的下一项考验,是大量数据能否及时、完整地送达。在大模型训练中,部分计算步骤需要等待相关节点的数据到齐,才能继续执行。如果传输过程中出现拥塞,或者数据丢失后需要重新发送,等待时间就会增加。对于反复进行数据交换的训练任务,这些通信开销会逐步累积,影响计算资源的实际利用效率。
scaleFabric采用无损传输机制,通过流量控制与链路层重传等方式保障传输可靠性,减少传输异常对任务的影响。其中,流量控制用于协调数据发送与接收,链路层重传则处理链路传输中出现的错误。两者与通信优化相配合,目的都是让数据更稳定地到达计算节点,减少因通信问题造成的等待。
除了数据传输本身,通信发起过程也存在开销。面向大模型训练与推理,scaleFabric通过IBGDA等技术支持GPU直接发起网络通信,减少CPU参与通信调度带来的开销,缩短节点间的通信等待。目前,scaleFabric已完成DeepEP通信框架适配,为大模型多节点协作与Token生成效率提升提供支持。这使高速网络的优化进一步衔接应用软件,帮助实际任务用好硬件提供的通信能力。
从网络研制到工程运行,考验完整系统能力
通信效率需要在持续运行中保持稳定,链路故障也必须得到及时处理。scaleFabric支持毫秒级链路切换,且路由恢复时间不随集群规模增长而延长。这项能力关系到网络扩展后的实际可用性。当连接规模继续增大,网络仍需及时恢复通信,才能减少局部故障对并行任务的影响。
故障恢复之外,运维人员还需要准确掌握网络状态。FabricView高速网络管理平台将配置部署、健康筛查与运行监测结合起来,支持在任务上线前筛查异常节点,在任务执行过程中定位繁忙链路和异常端口。当应用运行变慢时,这些信息能够帮助运维人员判断网络是否存在问题,缩小排查范围。网络硬件与管理软件由此衔接起来,共同服务于集群的日常运行。
中科曙光的相关网络设计已在曙光8000中得到工程验证,scaleFabric与曙光8000的工程实践也被上述研究报告收录。大会期间,中科曙光还获评“2026中国算力领军企业”,scaleFabric高速网络入选“2026中国算力应用典型案例”。两项荣誉分别体现了行业对中科曙光算力系统研制能力与高速网络应用成效的认可,也让从自主研发到工程应用的技术积累有了具体呈现。
超大规模集群建设,对高速网络提出的是一整套要求。连接规模扩大后,应用通信能否保持高效,故障能否及时处理,网络状态是否便于管理,都会影响算力投入的最终效果。中科曙光将这些要求贯穿芯片研制、架构设计与工程运行,为国产智算集群的持续扩展提供了系统性支撑。对使用者而言,这些技术的价值最终会落实到计算任务能否高效、稳定地完成。







