华为廖恒博士谈多处理器构建一台电脑的路线逻辑

这次演讲时间不长，所以偏理论。

我理解此场演讲的本质是，廖恒博士在讲解华为的路线逻辑。如果单颗芯片不占优，就在系统上找补，把很多颗芯片拼成「一台电脑」。

1.廖恒博士指出：AI已经是半导体的主角。

廖恒估计，AI算力已占整个半导体的六七成，每年部署量在百万片以上。我感慨确实如此，以前带动芯片行业的是PC和手机，现在主要是AI。

他还说，行业都忙着抠芯片技术细节，很少停下来想一想，「系统」到底意味着什么。我想在这里特别强调的是，“亲爱的数据”已经连续发文两篇，从阿里灵骏如何理解系统，到英伟达的Bill Dally大佬，谷歌TPU的Norm Jouppi大佬，他们的观点是「护城河不是芯片，是整个系统」。

又有一位大佬，洞察的落脚点在系统上。单颗芯片不够用了，要把很多颗芯片拧成一台电脑。这一点阿里，英伟达，谷歌，华为都认。谓之天下英雄所见略同。

而分歧在怎么“拧”上。有几个重要问题，第一，超节点做多大，芯片怎么连，网络什么协议等等。两年以来，这个选题已经写了很多篇了，很能深刻感受，方向一致，而百虑不同。各家打法迥异，背后是各自的长板和短板。

总而言之是，比拼作战单元变大了：不是芯片，而是一整套能跑起来的东西。

2.廖恒博士指出：一个20万卡的训练集群，按GPU线程算，并发线程10亿级。

冯诺依曼教会了我们怎么造一台串行的电脑，但面对10亿个并发线程，怎么把它们当成「一台电脑」来设计？一颗GPU能同时挂着几万条线程，每条只算一小块数据，比如矩阵里的几个数。我推测，10亿是这么来的：一颗GPU同时挂着几千到几万条线程，乘以20万颗，就10亿级。意思是在同一时刻，有10亿个在一起干同一件事。线程越多，计算单元越不容易闲下来。交换数据和对齐反正都是纯开销。线程越多，要协调的对象越多，这部分开销就越大。「算」和「等」这两件事怎么协调，很影响性能。

3.廖恒博士指出：AI是集团军作战。

我认为，还是在讨论到底需要多少卡。

推理要几百颗芯片，训练要几十万甚至上百万颗。比的是团体性能，不是单颗芯片多强。先不说训练，肯定是大卡数，然而，我看到现在推理的实际情况非常分化，一方面主流的大模型推理，一个服务实例大多在几张到几十张卡，64 卡以内已经很常见，也够用。另一方面，超大的MoE 模型做大规模专家并行，追求极致吞吐，才会往上推卡的数量。这正好是华为超节点主打的场景。「数量和性能」是华为重头戏。

4.我的思考，为什么说BSP是整个演讲核心？

作为并行计算的一个计算范式，BSP中文一般译作「整体同步并行」，Bulk Synchronous Parallel。也有人叫「块同步并行」（论文摘要见文末）。如果让上万个线程各写各的代码，程序员根本写不出来。

于是，有了把数据切开，通常让每个处理器跑同一段代码（SPMD，全称是Single Program, Multiple Data，单一程序，多份数据）。各自算完，交换数据，再等所有人对齐（barrier同步），才进入下一步（一个superstep）。每个处理器跑同一段代码，只处理自己那份数据。

我是这样理解的：廖恒选BSP做演讲主线并非偶然。BSP是哈佛的Leslie Valiant在1990年提出的。《A Bridging Model for Parallel Computation》，他后来拿了图灵奖。

而把BSP推广开来的核心人物，是牛津Bill McColl。他如今就在华为。从BSP到『嵌套BSP』，再到灵衢总线和超节点，我理解廖恒是在梳理系统路线中一条有来历的理论脉络。

我认为，这是华为超节点的理论基础。希望后面能找机会找华为人学习学习。不过我找到了一篇论文，先自学一把我关注的问题：灵衢总线如何对应嵌套层级？

5.BSP的天花板就在那，后面怎么办？

如果回顾一下，在AI的系统出现之前，其实大规模的超算系统已经相对普遍存在。在超算以及后面的大数据系统里，我们看到前人还是有一些非常有价值的工作。刚才提到的BSP工作，它其实用了一种比较简化的编程范式。

但是我们看到BSP模式的scaling是有点问题的。因为如果你要求10亿个线程都完全同构、做一模一样的事。而且它在如此大范围内进行barrier同步，它的效率会严重损失。所以，实际上在AI的时代，大家不能简单地只用扁平的BSP模式做如此大规模的并行计算机编程。我们看到，实际上几乎所有尤其是做模型训练和推理的同行，他们实际上已经在实施一种被我归纳为嵌套式BSP的编程范式。

比如在AI系统常见的DP、PP、EP、FSDP以及TP这些不同的并行模式，通常它的作用域是一种嵌套的关系。我这里用了“套娃”图示意，在同步频次以及数据交换的数据量最大的那一层，通常我们就会把它放在嵌套层级的最底层，然后逐层放大。也就是说，比如一个训练系统里，DP域通信的频次是非常不频繁的，可能每一个training step才会做一次DP通讯，可能都已经到了秒级。而在推理系统当中，EP的通信频次是非常高的，可能1毫秒都要做几十次EP通信。而它在层级的数据通信量也是显著大的，几乎是数量级的放大。

演讲很快进入到对BSP的讨论。要求10亿个线程做一模一样的事，还在这么大范围里一起同步，效率会大幅损失，扁平的BSP撑不住。于是，有了嵌套BSP。

他打了个套娃的比喻，大模型常用的几种并行方式，DP，PP，EP，FSDP，TP，作用范围其实是层层嵌套的。这些并行方式，各自就是一层BSP。为什么要排序？因为硬件里连接的快慢差距极大，而各种并行方式也差距极大，两边必须对上。

通信最频繁，数据量最大的放最里层，越往外越稀疏：DP，TP，EP 这些大家早就在用，我想廖恒博士想表达的是，把它们统一成「嵌套BSP」。我理解，同步最频繁、数据量最大的放在最里层，因为那里硬件连得最近、最快。比如 TP、EP 毫秒级就要同步，放在超节点内部；PP放在中间；DP一个训练步才同步一次，放在最外层，跨机房也不怕。

6.软件层级正好对应硬件层级，这和BSP的关系是什么？

刚才我先是从如何编程出发，但如果把它对应到一个硬件系统的时候就会发现，当你构建一个大规模的硬件系统，它天生也是有层次的。

硬件天生就是分层的。一颗芯片里有几十个核，4到8个die（die 就是从晶圆上切下来的一小块硅片，真正干活的电路都在上面，中文叫「裸片」或「晶粒」），一块板子上有4到8颗芯片，往上依次是机框，机柜，超节点，机房，数据中心。软件的每一层嵌套，都能找到一层对应的硬件。我理解，每一层硬件对应一层BSP。再配上统一的互联协议（灵衢）、去掉主从、上光互联，让每一层都能做大，又不额外增加通信开销。

而这里讲的在系统层面，也完全可以认为每一个BSP都是通过并行的范式，把需要更长时间完成的计算任务，折叠到多个并行的实例上面，从而获得时间的压缩。而整个系统的加速，是在每一层的时间折叠的压缩比相乘。因此经过了多层相乘之后，就得到上10亿倍的压缩。因为刚才讲到几十万卡的AI系统里头，大致相当于几十亿个线程的并发。

再回到相对抽象的层面看问题，到底一个系统是不是能够用并行的BSP实现呢？首先要看在给定作用域上，它是不是可以切分成同构的、规模更小的问题。当你把每一个作用域的问题进行切分之后，再递归进入下一个层次的切分。

8.是不是所有问题都能这么拆？

能不能用嵌套BSP，关键看问题在每一层能否切成同构的，更小的子问题。嵌套 BSP 不只服务 AI，对很多传统超算任务也有效。看来，廖恒博士拿经典超算问题对了一遍：并非全部适用，但绝大多数强扩展类问题都很契合（强扩展指问题总量固定，加处理器来缩短时间）。

我想这也是在为华为的路线说明适用范围。嵌套BSP 不是万能的。强扩展问题和嵌套 BSP契合。不是全部都能用，但大部分「固定题量、加机器提速」的问题都很适合，大模型训练更是典型。不过关于切的技术细节，我的理解很粗浅，就不在这里献丑了。

《MANY PROCESSORS, STILL ONE COMPUTER：

THE NESTED PARALLEL VON NEUMANN ARCHITECTURE AND NESTED BSP》

直译是：《处理器再多，仍是一台计算机：嵌套并行冯诺依曼架构与嵌套BSP》

论文摘要，逐句中英对照，由Grok翻译

The contest in large-scale AI computing is no longer whether one processor can be made stronger, but whether a million of them can still behave as a single computer.

大规模AI 计算的较量，已不再是能否把单个处理器做得更强，而是一百万个处理器能否仍然像一台计算机那样工作。

This paper argues that two extensions are required.

本文认为，这需要两项扩展。

First, classic BSP, nested recursively, becomes a plan that holds at every scale: each superstep consists of parallel work, then exchange and aggregation, then a barrier, and at every layer the participating units are peers.

第一，把经典BSP 递归地嵌套起来，就成了一套在任何规模下都成立的方案：每个超步都由并行计算，数据交换与聚合，屏障同步三部分组成，而且在每一层，参与的单元彼此对等。

Second, the von Neumann single-machine architecture, extended past its master–slave habit, becomes the Nested Parallel von Neumann Architecture: a nest of peer-equal layers, from chip package to autonomous zone, joined end to end by one memory-semantic interconnect, the Unified Bus.

第二，把冯诺依曼单机架构扩展开来，摆脱它主从式的惯性，就成了「嵌套并行冯诺依曼架构」：一组层层嵌套，彼此对等的层级，从芯片封装一直到自治域，由同一种内存语义互联，也就是统一总线（Unified Bus），从头到尾贯通。

The software nest and the hardware nest correspond layer by layer, and the τ Scaling law folds time at every layer.

软件的嵌套和硬件的嵌套一层对一层，τ（tau）扩展定律在每一层都把时间折叠压缩。

We examine which workloads the nested structure serves, AI training above all but much of classic HPC as well, and describe the hardware decisions that make the nesting physical.

我们考察了这种嵌套结构适用于哪些工作负载：首先是AI 训练，也包括许多经典的高性能计算（HPC）任务；并介绍了让这种嵌套在物理上得以实现的硬件设计决策。

Many processors, still one computer.

处理器再多，仍是一台计算机。

《AI算力》

1.10万卡争端，英伟达NVL72超节点挑起

2.英伟达：照抄者死，阿里华为：AI集群狂飙『全解耦』

3.阿里华为『血战』英伟达AI超节点

4.抢在英伟达护城河合拢前，硅光的冲刺与最后窗口

5.OCP现场 l 北美AI巨头罕见共识ESUN，利益握手

6.为什么有些『闪断的锅』，硅光不背?

7.为了Token，阿里云竟然出了一个TPN？

8.杀死Token成本：靠的不仅是更强的芯片