文：王智远 | ID:Z201440
今天是华为昇腾AI开发者峰会。
上午场有一个演讲，是华为公司 Fellow、半导体首席科学家廖恒讲的，主题叫「面向 Agentic AI 时代的昇腾超节点最佳实践」。
说实话，不太好懂，满屏名词，要没搞过AI芯片或者云计算基础架构，听完就一个反应：每个字都认识，连起来不知道在说啥。
我也差不多，现场一遍没整明白，回来又把逐字稿翻了两遍，还拉上AI助理过了一遍，才把廖恒的技术逻辑捋清楚。
所以，我尽可能用通俗的语言，把演讲里真正重要的东西翻译出来。
....
先说一个判断，大部分人评价AI芯片，只看算力；廖恒说，光看算力，不够；为什么不够？先搞清楚一个问题：一颗芯片到底在比什么？
廖恒一上来摆了四个指标。
算力，每秒能做多少次浮点运算；就是，各种发布会最爱吹的数字，PPT上字号最大的那个。
内存带宽，芯片从自己内存里读数据的速度；打个比方，厨师刀工再快，食材从冰箱到砧板的传送速度跟不上，也得停下来等，内存带宽就是那个传菜速度。
内存容量，芯片能在身边放多少数据；过去几个月HBM涨价涨得离谱，全行业都在头疼，说白了，就是内存不够用了。
第四个，互联能力。一颗芯片跟别的芯片传数据的速度。廖恒特别强调了这个，说四个指标里它最容易被忽略。
四个指标摆出来，关键不是每个是啥，在于它们的排序。
廖恒展示了一个对比：训练场景和推理的预填充阶段，算力排第一，内存容量排第二，带宽排第三，符合大众直觉，训练嘛，就是拼算力。
翻到推理的解码阶段，排序变了：
带宽排第一，容量排第二，算力掉到第三；同一颗芯片，换个场景，「谁最重要」的答案完全不一样，这个差异在产品上也很清楚。
昇腾950有PR和DT两个版本，最明显的区别是算力和内存带宽的比例不一样，一个是265，一个是120；是各自为不同场景设计取舍的结果。
讲完四个指标，廖恒甩了一个公式：
一个AI系统的综合性能，约等于超节点的规模，乘以单个芯片的规格，一个乘法，两个因子，单芯片的本事，和超节点能搭多大。
这公式有点抽象，我举个例子：
单芯片规格等于一个厨师的炒菜速度；超节点等于后厨能站多少厨师，你让一个五星大厨单挑，他能一个人撑起一桌菜，但如果要同时喂饱一千个人，大厨再快也白搭，得多找几个帮厨。
前提是厨房得够大，别一转身胳膊肘撞到人。这个「厨房够大」，就是互联能力。
接着他讲了一句挺坦诚的话：国产半导体在单芯片规格上，是要吃亏的，在场的人都懂这句话的背景。
华为四五年前就意识到了这个问题，开始猛搞超节点技术，在A5代次上，单芯片的互联带宽做到了双向2TB每秒，乘法公式的第二个因子，华为在使劲做大。
说白了，单芯片打不过你，咱就靠堆数量找补回来。不过，这个理解对了一半。超节点到底怎么建，里面的门道比堆数量复杂得多；最直觉的想法：16000张卡，全部最高规格互联，一步到位。
....
廖恒在演讲里自己就提了这个问题，他说，理论上确实能建一个16000张卡、每张卡3.2T带宽的全高速网络。技术上做得到。
他没这么干，第一个原因，钱。
3.2T互联需要的交换机和线缆，跟400G不是同一个价位的。16000张卡全拉3.2T，账算不过来。
第二个原因更有意思，是没必要。廖恒说，华为大量实际部署之后发现了一个规律，距离越近的芯片，聊天越频繁；越远的，交流越少，而且是断崖式减少。
打个比方：
一个小区的住户之间互寄快递最频繁，一天几十个件。同一个城市跨区寄，一天可能就几个件；跨省寄，一周也未必有一个。你如果按「跨省快递」的标准给每户修一条高速公路，修得起，用不上。
AI芯片之间的通信也是这个道理，有的并行方式，芯片之间要死命传数据，量极大，必须配快车道；有的并行方式，芯片之间偶尔传一下就行，量小得多，普通路就够了。
所以，华为的超节点分了两层网络。
一层叫SU（快车道），每颗芯片出3.2T的互联带宽，覆盖128到最多8192张卡；这个范围内，芯片之间互传数据像小区里互寄快递，又快又密。
另一层叫SO（普通路），每颗芯片出400G到800G的接口，通过两层交换覆盖到16000张卡；跨区寄件，频次低，普通路够了。
两层网络物理上是两套独立的端口和交换路径，能连通，选择不连通。这个选择背后的考虑，后面还会讲。
这个分层设计面临的最极端考验，来自MoE（混合专家模型），现在主流的大模型，包括DeepSeek，都是MoE。
MoE模型里有一个通信过程叫EP（专家并行），每一轮计算时，每个芯片算完自己负责的那份活儿，要把结果发给其他好几个芯片，同时也要从其他芯片那里收结果，这个过程叫一次「派发」和一次「合并」。
这个模式有两个要命的特点。
第一个，工作量是平方级增长的，一个微信群8个人，每个人要跟其他所有人各说一句话，是56次通信。人数翻倍到16个人，不是翻倍，变成240次。
超节点里参与EP的芯片数量如果是N，通信次数就是N的平方。
第二个，每次传的数据量特别小。大概7KB到14KB，比一张手机照片还小一百倍。小到什么程度呢？
你的系统不光要路够宽，还要能在极短时间内发起极大量的请求；带宽是高速公路的车道数，这个要求的是收费站每秒能放行多少辆车。
7KB一个小包裹，平方级的通信次数，每一次都要求极低的延迟，这种通信模式，是对快车道最严苛的考验。
廖恒给了一个很直观的设计原则来应对：跳数。
所谓跳数，就是一个数据包从发出到收到，中间经过几个交换机；每经过一个交换机，信号要被接收、处理、重新发送，延迟就增加一截，物理距离也是，每多一米大概多5纳秒。
在A5的设计里，板内8颗芯片做了Full Mesh（全网状互联），任意两颗芯片之间直连，零跳，不经过任何交换机，延迟最低。
512张卡范围内，单层交换，一跳可达，8000张卡范围内，两层交换，两跳可达；廖恒说了一句很干脆的话：三跳可达就完全不可接受了。
零跳、一跳、两跳，这个分级跟前面讲的「越近越密」是完全对应的；越近的芯片，通信量越大，对延迟越敏感，跳数就必须越少，是同一个物理现实的两面。
拿DeepSeek V4 Pro这种MoE模型来说，128到512张卡的快车道范围，单层交换，一跳可达，够用了；廖恒原话是：非常非常契合。
以上这些是图纸上的设计，真正把几千张卡跑起来之后，廖恒说发现了一些设计时没想到的事。
...
什么事儿呢？三点，第一件：怎么发数据也有讲究。
芯片之间传数据，有两种方式。
一种叫自己动手，那个专业词叫 Load/Store，芯片亲自发一条指令，直接去对面把数据拿过来；快，一条指令，一个时钟周期就完事了。代价是芯片自己得停下手里的活，亲自跑这一趟。
另一种叫派人去拿（DMA）。
芯片写一张单子，告诉一个专门搬数据的模块「去那边把这块数据搬过来」，然后自己接着算别的。
搬运过程在后台进行，芯片不用等；代价是写单子本身有开销，要填一个64字节的描述符，还要排队发送，前前后后大概2000条指令。
什么时候用哪种？廖恒说，看数据量，回到前面讲的MoE，芯片之间每次就传7KB。这个量级，用自己动手最合适。
打个比方：
跟做菜一样。如果一次只炒一盘菜，厨师亲自去冰箱拿食材最快，不用专门喊个帮厨跑一趟；如果一次要炒一百盘菜，才需要专人去搬货，厨师腾出手来专心炒。
Load/Store就是亲自跑一趟，数据量小的时候效率最高。数据量一大，才切到DMA（派人去拿）。
这个选择看着是个技术细节，本质是一个系统级的调度判断；芯片的硬件能力是固定的，怎么用它，取决于你对业务特征的理解有多细。
第二件：两条路不能并成一条。
前面讲了SU（快车道）和SO（普通路）是两套物理上独立的网络。一个自然的想法是：能不能省点事，把两套网络合成一套？反正地址上是可以互通的。
廖恒说，华为的确可以把普通路做成快车道的第三层或第四层，逻辑上完全走得通，他们没这么做。原因是一个实操中发现的大问题：延迟抖动。
延迟抖动是说「有时候快有时候慢」，波动不可控。
廖恒打了个比方：
你家到公司正常30分钟，遇上早高峰可能变成50分钟。原因是不同方向的车流共享了同一条路，互相挡道。
对AI推理系统来说，抖动比延迟本身更致命，所有的卡要等最慢那张卡算完才能进入下一步，只要有一张卡被堵了，整个系统的速度就被拉到最慢那张卡的水平。
快车道上跑的是EP（专家并行）通信，对延迟极度敏感；普通路上跑KV Cache（模型的计算草稿纸）的读写、预填充和解码之间的数据传送，以及一些数据同步的活。
这些流量本身不要求极低延迟，量还不小，如果两套网络合一，这些流量就会跟EP的流量挤在同一条路上，互相干扰，抖动直接飙上去。
所以，华为「蓄意」把两套网络从芯片的物理端口，到所有的交换路径做了彻底隔离。不管普通路上在忙什么，都不会影响快车道上那些对延迟最敏感的EP通信。
廖恒用了「蓄意」这个词。意思是，这是故意的。
第三件：路修多了，反而更慢。
快车道网络里，每颗芯片出了8条400G的线连到交换机；注意不是一条，是8条。
8条线同时连着，意味着一个数据包从A到B可以有8条不同的路可以选；这个技术在网络领域有个术语，叫ECMP（等价多路径），直白说就是「条条大道通罗马」。
直觉上这是大好事，多条路，能分流，不容易堵车。你从家到公司，如果平时走的那条路堵了，旁边还有7条备选路线，怎么着也比一条路死扛强。
华为在设计硬件的时候，也做了很多自适应路由和多路径组网的能力，本来就是冲着「路越多越稳」去的，结果跑起来发现，不对；当延迟要求极端低的时候，多路径反而成了麻烦。
原因很微妙，你想象一下这个场景：
你寄了一本书，分成8个包裹走8条不同的路。有的包裹走高速20分钟到了，有的走小路绕了40分钟，有的中间还走岔了又绕回来。
问题是，收件人得等8个包裹全部到齐了，才能把书拼起来看。所以，最后送达时间不是取决于最快的那条路，而是最慢的那条。
路径越多，最慢那条路径的不确定性就越大；今天可能是第3条路堵，明天可能是第7条路堵，抖动的根源就在这里。
廖恒的结论是：在极低延迟的场景下，最好还是退回到单路径，所有数据包走同一条路，到达顺序一致，反而最快。
这个结论挺反直觉的，网络设计的基本常识是「多路径优于单路径」；冗余、容错、负载均衡，全是多路径的好处。在AI超节点里，碰到了一个场景，常识反过来了。
这三件事有一个共同点：
自己动手和派人去拿怎么选，网络合不合并，单路径还是多路径；答案都不在芯片的规格书上；你把芯片参数背得再熟，什么算力多少T、带宽多少G、缓存多大，全都背下来，也推不出上面任何一个结论。
它们只能从实际系统跑起来之后，从数据里长出来，从经验里长出来。
....
廖恒在演讲后半段讲了一件自己的体验，核心意思是：业务形态本身，正在发生数量级的变化。
他说自己每天也在用Cursor、Claude Code这些AI辅助编程工具；每次给个指令，大概要等十几二十分钟，有时候半小时，Agent才能把任务跑完。
这段话听起来像是随口一提，背后藏着一个很大的变化。
以前用ChatGPT，你跟AI的关系是「你问一句，它答一句」。一个人一个小时顶天了跟AI聊5到10回。
现在Agent这破玩意儿不一样了，你给它下一个指令，它会自己拆任务，反复调模型，可能调几十次、上百次，你该吃吃该睡睡，它还在那里帮你debug。
单个用户产生的模型调用次数，至少涨了50倍，可能100倍，这只是第一个变化。
第二个，序列长度，以前一次对话的典型长度，大概就几千个词。Agent时代，每一轮对话都会把之前所有的历史叠在后面，一条完整的序列经常接近一百万个词。涨了250倍。
第三个，缓存的命中率。
Agent每次调用都是在上一次的基础上追加，大量内容是重复的，命中率高达95%以上。
这是好事，没有这么高的命中率，Agent辅助编程这破成本贵到没人用得起；命中意味着不用重新算，省了大量的算力。
好事背面是坏事，命中率高说明缓存被反复读取，不能丢；以前存几千个词的缓存，现在要存一百万个词的缓存，存储量涨了250倍。
这个量级的缓存，靠芯片自带的那个又贵又小的专用内存，存不下；靠普通内存存，太贵。很自然地，行业开始想用固态硬盘来存。
固态硬盘存缓存，思路没问题，路径上有问题。
廖恒在演讲里画了一条红线，展示了传统方案的数据路径；一台AI服务器要从存储集群里读一块缓存，数据要经过这么一趟。
那个图太难懂了，我举个例子：
想象一个场景。你在办公室里想查一份文件，这份文件不在你手边，存在隔壁楼的档案室。
于是你开始了一趟跑腿之旅：
你先打电话给前台，说「帮我到档案室找份文件」。前台小哥接了电话，走到门口，穿过楼之间的马路，到了隔壁楼的前台。
隔壁楼的前台接了这个单子，转头上楼找档案员。档案员从柜子里翻出文件，放到桌上，然后喊隔壁前台来拿。
隔壁前台拿了文件又下楼，穿过马路，回到你们楼，把文件交给你楼的前台。你们楼的前台再走回你工位，把文件放你桌上。
你看，一份文件，中间过了四道人的手；每一步都要等人接活、等人送、等人传话。任何一个环节的人正在忙别的，你就得等着。
这台AI服务器读个缓存，走的也是这个苦逼路线：
发起端发请求，要穿过网卡、穿过数据中心网络、到存储服务器的网卡、存储服务器里的CPU接活、从固态硬盘里读数据放到内存、再打包发回去、再穿过网络回来、接收端自己的CPU收下来先放自己内存、最后拷贝到AI芯片的高速内存里。
光看这条路就知道，中间隔了太多倒手环节；CPU要参与四次，内部总线要走两趟，网卡要进进出出两次，每一道都在添乱。
这个路径在数据量小的时候还能忍，Agent时代数据量涨了上百倍，这条路就彻底堵死了。
廖恒说，他大胆预测，未来一年内这个瓶颈会变得愈发严重；华为给的方案是一个直接带网口的固态盘，每块盘自带400G的带宽，直接挂在超节点的网络上。
AI芯片要读缓存，一条指令直达这块盘，它直接把数据通过网络送到AI芯片的高速内存。中间没有处理器转发，没有网卡过手，没有文件系统的格式转换。前面那条红线上的所有中间环节，一把全砍掉了。
还有一个很精巧的设计：
传统固态硬盘对数据保存时间的要求很高，写进去的数据至少要保三年不丢。这个要求是为冷数据设计的。你存在网盘里的老照片，五年不碰也不能丢。
缓存不是冷数据，以前那种聊天AI，一条缓存超过一两天就没有保存价值了，现在更短，超过一两个小时代码就已经变了几十次，旧的缓存基本没用了。
廖恒说，这种新固态盘在设计时专门针对这种「短保质期」的场景做了调整。牺牲掉以年为单位的数据保持能力，换回来的是显著的擦写寿命提升。
冷数据存三年，热缓存存三小时，对固态盘的要求完全不同，设计也该不同。这个决策只有深入理解了AI助手业务特征的人才做得出来。
讲完这个，廖恒还提了一个更大的设计理念。
AI的业务形态在持续变化，不同业务对处理器、内存、存储的配比需求都不一样；一台机器量产之后，硬件配比就固定了，跟买了车不能换更大的轮子一个道理。
怎么搞？
这个统一总线提供了一种灵活扩容的方式；处理器不够了，往普通路网络上挂一个处理器节点；存储不够了，挂一个这种新固态盘节点。
不用动快车道里面的核心拓扑，在外围按需加就行，他目前看到的百分之九十以上的扩容需求，在普通路网络里就能满足。
最后，他讲了一个很有意思的观察：昇腾的软件生态正在同时朝两个方向走。
一个方向是做厚。
为了兼容行业主流的框架和工具，什么各种主流大模型推理框架、训练框架，再到各种中间适配层，最后到AI芯片最底层的计算指令，层层叠叠。兼容性越好，软件栈越厚。
另一个方向是做薄。
如果目标是建一个1毫秒延迟的推理系统，这么多层软件的开销加起来，根本不可能达到。必须把历史上积累的很多层次砍掉、简化、融合。
廖恒说，这两个方向同时存在于昇腾的生态里，一边把软件做得更丰富，一边把软件做得更精简，补齐短板和探索新路径，同时在发生。
好了，一口气说完了，我喝口水。这套东西，不一定所有人都能懂，也不用所有人都懂。对了，我翻译的也不一定全准，毕竟我还是门外汉，有偏差的地方欢迎行业的朋友指正。
芯片可以有代差，系统级的设计能力没有捷径。这条路上的人，值得被看见。
