本文转载自微信公众号:中信建投证券研究

转自中信智库、中信建投证券研究发展部出品 武超则等著《AI产业全景图谱:技术范式、投资机遇与未来生态》,中信出版集团。
《AI产业全景图谱》新书第二章“算力基石:AI时代的底层动力与产业机遇”内容节选——散热革命:从风冷到液冷,为算力降温。
风冷系统通过让冷源更靠近热源,或者密封冷通道/热通道的方案,来适应更高的热密度散热需求。随着单机柜功率升至20 kW以上,多种液冷技术应运而生,从而满足高热密度机柜的散热需求。这与算力中心绿色低碳发展持续深化的需要相适应。PUE是算力中心最常见的评价性能指标,也是行业评价算力中心绿色性能的主要指标,PUE=数据中心总能耗/IT设备实际能耗,PUE越接近于1,代表算力中心的绿色化程度越高。液冷技术主要分为冷板式液冷、浸没式液冷和喷淋式液冷等技术类型,其中冷板式液冷技术被认为是成熟度最高、应用最广泛的液冷散热方案。
托管服务提供商Colocation America的数据显示,2023年全球数据中心单机柜平均功率达到20.5 kW,单机柜功率超30 kW的占比不断提升。一般认为30 kW是风冷散热的上限,随着功率超30 kW的机柜快速增加,冷却方式应逐渐从风冷过渡到液冷。
液冷服务器市场规模不断提升,冷板式液冷仍占主力。从市场规模来看,观研天下数据显示,2024年我国液冷服务器市场规模达201亿元,同比增长84.4%,预计2025年市场规模增速为46.3%,达294亿元(见图2-19)。从市场结构来看,2024年冷板式液冷市场占比约65%,浸没式液冷市场占比约34%,喷淋式液冷市场占比约1%。
风冷散热将风冷组件[包含热界面材料、集成散热器、3D VC(三维均热板)和风扇]安置在计算平台的前端。DGX H100风冷方案(含8块H100 GPU):计算平台最前端装有3行×4列风扇用于8卡H100的散热。DGX B200风冷方案(含8块B200 GPU):计算平台最前端装有4行×5列风扇用于8卡B200的散热。

风冷散热所需要的元件:热界面材料(直接覆盖在GPU之上)、集成散热器(与热界面材料相连)、多维两相均温元件3D VC(由热管和散热片组成,安置在集成散热器之上)、风扇(安置在服务器最前面或者最后面)。3D VC得名于一维的热管、二维的散热片、三维的热管与散热片腔体互通;VC(蒸气室)得名于液体蒸发冷凝的过程。
芯片的热量通过热界面材料传导至集成散热器上,热量进入三维均热板中,将其中的液体蒸发为蒸气。蒸气通过热管向上传导至上方多层散热片。服务器前端和后端的风扇以及数据中心的空调,会将腔体内的蒸气冷凝为液体,如此循环往复。因此,风冷散热由两部分组成:每个芯片上方的多维两相均温元件,以及服务于整个服务器散热的风扇和数据中心的空调。
采用风冷设计的HGX H100与HGX B200基本由三部分组成:电源托盘、母板(CPU)托盘与GPU计算托盘。GPU计算托盘高度则占到服务器高度的三分之二。芯片本身的高度近乎为0,主要高度来自风冷散热元件:芯片热功率越高,充分散热需要的散热片高度越高。从HGX H100到HGX B200,风冷散热元件的高度增加了超过50%。大量的机柜内部空间被用于风冷散热而不是实际有效的集群计算。
液冷能有效解决风冷散热的痛点,大幅增加机柜散热功率。水的热容量为空气的4 000倍,热导率是空气的25倍。在相同温度变化中,水能存储更多的热量且热量的传递速度远超空气。GB200的水冷计算托盘设计利用冷板与冷却液的高效热交换机制,将芯片产生的热量均匀传递至冷板表面。冷却液以高流速经过冷板后能够迅速带走热量并均匀散热。
采用风冷设计的HGX H100计算平台高度大概为6U。而采用风冷设计的HGX B200则需要10U高度的风冷设备达到散热需求。相比较而言,使用类金刚石涂层的GB200计算托盘的高度仅为1U。同样部署8块GPU芯片,HGX H100高度为6U,HGX B200需要10U,而GB200 NVL72只需要2个计算托盘,总计高度为2U。这使得空间利用率大幅提升。
冷板式液冷通过冷板将芯片等发热元器件的热量间接传递给封闭在循环管路中的冷却液体,冷却液带走热量,并将其传递到一次侧回路,通过冷却系统进行冷却,最后将热量排出系统。冷板式液冷系统可以分为一次侧循环(室外)和二次侧循环(室内)两部分。其中,二次侧循环主要通过冷却液温度的升降实现热量转移,而一次侧循环的热量转移主要是通过水温的升降实现。成本方面,一次侧循环占液冷成本的30%左右,二次侧循环占70%左右。
冷板一般在平坦表面使用时换热效果最佳,例如CPU、GPU和存储器模块等,不适用于电源和集成电路电容器等其他组件。综合来看,冷板液冷可带走机架中设备产生的70%~75%的热量,因此需要采用混合冷却方法。
冷板式液冷二次侧核心部件如下。①液冷板:液冷板是一种通过液体循环来吸收和转移热量的散热设备,广泛应用于高性能计算和数据中心。它们通常安装在服务器或电子设备上,通过液体流动来冷却设备。②快速断开装置:允许快速方便地连接和断开液体管线,且不会产生漏液。③冷却液分配单元(CDU):负责冷却剂的分配、调节和监控。它们确保每个服务器都能获得适量的冷却液,以维持适宜的运行温度。CDU分为L2A,包括RPU(泵、水箱)、散热片、风扇,以及L2L,包括RPU和钎焊板式换热器(BPHE)。④机柜内部管线:柜内管线包括机架管和行管,是液冷系统中用于分配冷却液的管道系统。机架管负责将冷却液分配到机架中的各个服务器。行管则负责在机架内部分配冷却液到每行的服务器。
GB200 NVL72机柜内部液冷系统的整体价值约为8.4万美元,占机柜成本的2.8%左右(假设机柜液冷总成本300万美元)。分零部件来看,GB200 NVL72机柜包含126颗芯片,其中,计算托盘包含芯片108颗(72×GPU+36×CPU),对应冷板价值量约3.24万美元;交换托盘芯片对应冷板价值量约3 600美元,合计占比达4.3%。冷却液分配单元单价3万美元,占35.8%。快接头价值量占比约10.5%,柜内管线约占4.8%。总体来看,液冷板与CDU两项合计占整体液冷成本的78.8%,为液冷方案的核心零部件(见表2-22)。

浸没式液冷是一种液冷散热技术,该技术通过将发热的电子元器件(如CPU、GPU、内存及硬盘等)全部或部分直接浸没于装有非导电惰性流体介质的机箱中来实现冷却。它包含两个循环:一次侧循环中,利用室外冷却设备(如冷却塔或冷水机组)与热交换单元(如CDU等)进行热交换,排出冷却液热量;二次侧循环中,CDU与液冷箱内的IT设备进行热交换,传递热量给冷却液。
根据冷却液在循环散热过程中是否发生相变,液冷技术分为单相浸没式液冷和双相浸没式液冷两种类型。在单相浸没式液冷中,作为传热介质的二次侧冷却液在热量传递过程中仅发生温度变化,不存在相态转变,过程中完全依靠物质的显热变化传递热量。而在双相浸没式液冷中,作为传热介质的二次侧冷却液在热量传递过程中发生相态转变,依靠物质的潜热变化传递热量。
浸没式液冷由于发热元件与冷却液直接接触,散热效率更高,相对于冷板式和喷淋式液冷,噪声更低,能解决高热密度机柜的散热问题。单相浸没式液冷中,介电冷却液(沸点较高)保持液体状态,电子部件直接浸没在液体中,热量从电子部件传递到液体中。通常使用循环泵将经过加热的冷却液流到热交换器,在热交换器中冷却并循环回到容器中。而相变浸没式液冷是以相变冷却液(沸点较低)作为传热介质,在工作状态下,当冷却液的温度升高到系统压力所对应的沸点时,冷却液发生相变,从液态变化为气态,通过气化热吸收热量,实现热量的转移。
喷淋式液冷是面向芯片级器件精准喷淋,通过重力或系统压力直接将冷却液喷洒至发热器件或与之连接的导热元件上的直接接触式液冷。
喷淋式液冷也可完全去除散热风扇(实现100%液体冷却),换热能力强,相较于浸没式液冷节省冷却液,数据中心PUE可降至1.1左右。喷淋式液冷需要对机柜和服务器机箱进行改造,运维难度较大,节能效果较浸没式液冷差。
综合考量初始投资成本、可维护性、PUE效果以及产业成熟度等因素,冷板式和单相浸没式相较其他液冷技术更有优势,是当前业界的主流解决方案,其中冷板式液冷可以实现从传统风冷模式的平滑过渡,在数据中心领域应用更多(见表2-23)。








