如果每个人都面临 AI 推理问题，即使使用最先进的 GPU 和 XPU 加速器，生成代币的成本仍然过高，那么微软可能面临着世界上最大的推理问题。
首先，为 OpenAI ChatGPT 模型运行推理程序，以及帮助 AI 模型构建者训练模型，都是一项繁重的工作。此外，微软的所有员工生产力和后台办公应用程序都在融入 AI 程序，这正以惊人的速度推动其使用量呈指数级增长。
这就是为什么微软正在全力推进其 Maia 系列定制自主研发的 XPU 加速器，并且让客户知道微软正在努力解决这个问题，这也是为什么该公司在本周开放计算项目峰会 2026 开幕之际，推出了其未来的“Clea”Maia 300 加速器的馈送和速度。
Maia 300 芯片是一款改进幅度很大的设备，它进行了许多架构上的改进，旨在使 GenAI 推理不仅运行得更快，而且能够进一步扩展，从而处理更大的代理工作负载，这些工作负载由数十到数百个模型组成——这些模型隐式地通过专家基础模型的混合、实际上是物理上不同的独立模型的混合，或两者的混合——协同工作，并且需要共享相同的网络和内存空间才能高效且低延迟地工作。
微软在芯片设计方面实力不俗，通常只需两三次尝试就能取得成功。这家软件和云巨头于2023年11月推出了名为“Athena”的Maia 100 XPU，试水芯片设计领域。当时，微软还发布了其定制的Arm服务器CPU Cobalt 100，但对于这两款定制芯片的架构却鲜有提及。
第二代“Braga”Maia 200于今年 1 月发布，是一款功能更强大的 XPU，也是今年在 Azure 云上逐步投入生产的 XPU。
微软负责云和人工智能的执行副总裁斯科特·格思里在另一份声明中表示，“多代 Azure Maia 项目已成为微软人工智能基础设施战略的基石”，并指出 Maia 200 芯片正在为 Copilot 提供推理支持，帮助微软人工智能团队开发新模型。GitHub Copilot 和 Microsoft Foundry 也将在年底前迁移到 Maia 200 芯片。（GitHub Copilot 此前由 Maia 100 芯片支持。）Maia 200 芯片将运行 OpenAI 的各种模型、微软自研模型以及通过 Microsoft Foundry 运行的各种开源模型。目前尚不清楚 OpenAI 的 GPT API 服务有多少是在 Maia 100 或 Maia 200 芯片上运行的。
传闻称，微软计划至少部署 100 万个 Maia 插槽，而 Guthrie 在声明中表示，Maia 将在 Azure 云平台上实现“数千兆瓦的部署”。1 千兆瓦的 Maia 300 大约相当于 57.5 万台设备，每台加速器及其所属的系统主机、存储和扩展网络部分的总功耗为 1.74 千瓦。（微软表示，一机架的 Maia 300 功耗约为 167 千瓦，由 96 个互连的 XPU 组成。）
这款 Braga 芯片拥有更大的 HBM 内存容量和带宽，同时减少了片上 SRAM 缓存。此外，它还采用了大幅改进的 AI 传输层 (ATL) 定制 RoCE 以太网实现，带宽提升了 2.3 倍，并将 Maia 集群的集群一致性域扩展了 2.7 倍，达到 6144 个设备，而功耗仅增加了 1.5 倍。通过将数据格式从 6 位 MX6 升级到 4 位 MXFP4，并将计算核心数量增加 1.5 倍，同时提升时钟频率，Braga 芯片的浮点运算性能比其替代的 Athena 芯片提升了 3.4 倍。
Clea Maia 300 芯片——实际上是一个插槽式芯片复合体，或许更准确地说是一个插槽式系统，而非微软在其技术深度解析中所说的“芯片上的系统”（因为它实际上是由七个芯片和八个 HBM 内存堆栈集成在一个中介层上）——在所有规格方面都突破了极限，但显然其重点在于有效处理实际的 GenAI 推理工作负载，而不是仅仅为了追求速度和规格参数上的优越性而将浮点运算能力塞进插槽。此外，微软还改进了其 ATL 以太网，以便在机架中集成更多 XPU，并在一个统一的域中集成更多机架，从而应对更大规模的智能体工作流程。
Maia 300“插槽式系统”和构成 pod 和 superpod 集群的机器机架具有计算、内存和网络层次结构，可以将这些能力聚合在一起，使其应用于 GenAI 工作。
Clea 的计算单元与构成其前代产品 Athena 和 Braga 的计算单元略有不同。这三款 XPU 的核心都包含一个瓦片张量单元 (TTU)、一个瓦片向量处理器 (TVP)、一个瓦片数据移动引擎 (TDMA) 和一个瓦片控制处理器 (TCP)，以及供这些单元共享的 L1 SRAM 缓存。（缓存容量未公开。）Athena XPU 将四个这样的核心组织在一个瓦片上，并将十六个瓦片组织成一个集群（即插槽内集群），总共得到 64 个核心。Braga 瓦片和瓦片集群的组织结构在去年一月并未公开，但八月份在 arXiv 上发表的一篇论文对此进行了说明，这使我们能够更新 Maia 系列产品的主要特性列表。
事实证明，Braga XPU 的张量单元矩阵比 Athena 单元大两倍，因此，它所需的内核数量比我们在 1 月份报道中预想的要少一半，就能达到微软预期的吞吐量。Braga XPU 每个片上集群包含 10 个 tile，共有 4 个集群，总计 40 个内核。它们的运行频率为 2 GHz，每个集群仅激活 9 个内核，以确保台积电 (TSMC) 用于蚀刻芯片的 3 纳米 N3P 工艺的良率。Athena 和 Braga 芯片均为单片设计，并且接近光刻机的掩模版尺寸极限。
微软的 Clea XPU 采用台积电的 2 纳米 N2P 工艺，并采用芯片组架构，将 I/O 和 HBM 控制器与计算和 SRAM 缓存单元分离。Maia 300 与 Maia 200 一样，拥有四个 tile 集群，但每个片上集群包含十二个 tile。此外，Maia 300 还新增了两个组件：重塑器和 tile 同步器。这两个组件在 Maia 200 中就已经出现，但我们今年早些时候并不知道它们。它们有助于处理贯穿整个系统的数据流，从网络到服务器节点，直至最终的 tile。
每个计算单元（L1）和每个集群（L2）的SRAM容量并未公布。如果让我猜测——而我的确是这么认为的——Clea芯片封装中心的计算单元上大约有400MB的SRAM缓存，另外200MB则嵌入在I/O芯片中，用于缓存进入封装的网络数据和离开封装的计算数据。
正如你所看到的，HBM 控制器芯片相对较大，其中可能嵌入了逻辑电路和 SRAM。我猜测 Clea 封装上的两个 I/O 芯片中大约有 200 MB 的 SRAM。
我估计整个 Clea 芯片组的总 SRAM 带宽约为 166.2 TB/秒，这与该设备上八个 HBM4 堆栈的 18 TB/秒 HBM 内存带宽基本持平。Clea XPU 拥有 288 GB 的 HBM 4 内存，据推测与 Braga XPU 一样，均来自 SK 海力士。
至于Clea封装的面积和晶体管数量，您可以根据已知的HBM内存容量以及我们掌握的三款Maia芯片的封装图片和工艺节点信息进行粗略估算。顺便一提，我假设Clea中使用的HBM内存控制器和I/O芯片采用的是5纳米工艺，而不是2纳米工艺，这将使其性能更佳，制造成本也更低。（缩小I/O电路尺寸并不一定能提高其性能，而且肯定会增加成本并降低良率。）Clea封装的面积约为1980平方毫米，是Braga封装（面积为810平方毫米）的2.4倍。经过一些计算，我估计晶体管数量约为2800亿，上下浮动可能在10%左右，这还不包括HBM4内存。
你自己看看，然后自己猜猜看：
以下是三款 Maia XPU 的进给量和速度，其中红色粗斜体字是我估算的数值，一如既往：
微软尚未透露Maia 300的芯片供应商，但几年前曾有传言称，台湾的环球晶元（GUC）——台积电（TSMC，持有该公司35%的股份）的紧密封装合作伙伴——是Maia 100的芯片供应商。尽管两年前曾有传言称Marvell试图插手Maia产品线，此后不久又有传言称博通（Broadcom）试图分一杯羹，但普遍认为GUC仍将负责Maia 200和Maia 300的芯片供应。
与 Braga XPU 类似，Clea XPU 也将四个加速器主板互连，并封装成服务器外形。Braga 的 CPU 主机位于 XPU 机架之外。而 Clea XPU 则将主机服务器（我们推测在两种情况下都是由微软设计、Arm 参与开发的 132 核 Cobalt 200 系列 Arm 服务器 CPU）集成到 CPU 节点内部。我们假设 CPU 和 XPU 之间是通过 PCI-Express 交换机连接，而不是以太网端口。但也可能并非如此。
既然Arm已经开始销售自己的AGI处理器，微软或许会选择另一家CPU芯片供应商。因此，去年才会有关于博通的传闻。
以下是Maia 300服务器的外观：
眯起眼睛看，它和 Maia 100 和 Maia 200 服务器非常相似，CPU 都内置在机箱内。但实际上，它们之间的差异远不止表面看起来那么简单。三代 Maia 服务器的布线方式各不相同。以下是 Maia 100 RoCE 以太网加速器在节点内部的布线方式，以及它们如何通过双层网络连接到机架上的各个加速器：
十二条 400 Gb/秒链路中有九条用于将四台 Maia 100 紧密连接在一起，剩余的三条链路则连接到构成网络第一层的三平面以太网架构（即 T0）。第一层架构可以将 32 台加速器相互连接，而第二层以太网交换机则用于将系统扩展到单个一致性域内的 576 个节点和 2304 个 Athena XPU。
Maia 200芯片的I/O部分实现了28个以太网端口，运行速度为400 Gb/秒，总双向带宽为2.8 TB/秒。以下是这些端口的大部分用途：
在这个 ATL 1.0 网络中有四个交换平面，因此每个加速器需要占用四个端口。有趣的是，微软再次将四颗 Maia 200 紧密耦合到一个共享内存系统中，设备之间拥有很高的带宽。每颗 Maia 200 都通过七个端口与其他设备连接，除了每个芯片上用于连接到图中第一个平面（交换平面 0）的一个端口。这样，总共有 20 个端口用于连接 XPU，另外四个端口用于将每个 XPU 连接到四个平面中的每一个，总共使用了 24 个端口，而总共只有 28 个端口。我不知道剩下的四个端口是做什么用的。也许它们使用 ESUN 或 UALoE 协议将 CPU 主机的内存与加速器进行一致性连接？
我可以看到，十二个托盘（每个托盘包含四台 Braga XPU）构成一个机架，共 48 台设备；最多可将 128 个机架互连到一致性域中，该一致性域包含 128 台一级交换机和 32 台二级交换机，从而在一个统一的域内覆盖 6,144 台 XPU。这些以太网交换机配备 51.2 Tb/s 的 ASIC 芯片，总共有 128 个端口，运行速度为 400 Gb/s。
关键在于：Braga 设备被设置为在其所有计算单元之间共享其所有 HBM 内存，而 Braga 系统板将其中四个 XPU 紧密耦合，以 NUMA 方式共享它们的内存。
在 Maia 300 中，一对计算单元以类似 NUMA 的方式与一对 HBM4 内存库绑定。这意味着内存并非在插槽上的所有单元和所有 HBM4 堆栈之间共享。这将使适合该内存库的例程运行速度更快，这对 GenAI 推理至关重要。正如您将在即将完成的 OpenAI “Jalapeno” AI 加速器分析中看到的那样，OpenAI 和 Broadcom 在 Jalapeno 设计中也采用了这种策略。正如一些技术人员警告我的那样，我过分重视一致性。显然，微软也是如此。
因此，Maia 300 只有两个加速器相互连接，而不是四个，而且 Clea 封装内有四个独立的 HBM4 内存区域。下图展示了所有组件的布局，ATL 2.0 网络将它们连接在一起：
微软为 Maia 300 机架推出了新一代液冷散热方案，并将机架尺寸从 2U 改为 1U，这使得每个机架的 XPU 数量翻倍至 96 个，服务器数量从 12 台增加到 24 台。128 个机架加起来，单个系统镜像中就能容纳 12,288 个加速器。例如：
这是我们迄今为止在大型云平台构建商中了解到的最大相干域，远超英伟达和AMD在其机架级系统中以相干方式实现的72或144个GPU相干域，甚至也远超英伟达承诺未来在生产环境中提供的576或1152个多层NVSwitch相干架构。谷歌的“Sunfish”TPU 8t训练芯片（尚未出货）在一个相干域中最多可容纳9600个TPU，而“Zebrafish”TPU 8i推理芯片采用“boardfly”拓扑结构，单个boardfly（由8个蜻蜓节点组成，每个节点4个TPU）最多可容纳32个TPU，而通过作为谷歌网络后端的“Apollo”光路交换机相互连接的36个boardfly节点组最多可容纳1152个TPU。
为了省去您进行机架计算的麻烦，微软已经为您计算好了：
当然，这些只是原始的吞吐量和速度数据，并不一定代表实际应用程序运行时的情况。微软的两位技术高管——Azure硬件系统和基础架构总裁Rani Borkar以及系统规划和架构副总裁Saurabh Dighe——在他们的深度分析中指出，机架中配备 96 个 XPU 的 Maia 300 的“令牌吞吐量”性能最高可达机架中配备 48 个 XPU 的 Maia 200 的 7 倍。从 Maia 200 升级到 Maia 300，浮点运算性能提升了 36%，而机架中 XPU 数量的翻倍又带来了 100% 的性能提升。
真正的区别在于架构，即通过不同的方式耦合系统中的 XPU 和节点，增加 HBM 和 SRAM 内存，并在计算的各个阶段大幅提升带宽。毫无疑问，在系统中传输信息以便进行处理和创建的数据流也是改进的关键所在。我们期待一年后微软发表论文，详细阐述其实现方式。
微软最引以为豪的指标或许是：在每瓦性能提升 2.5 倍的情况下，性能提升了 7 倍。通过增加功耗来提升性能很容易——或者说相对容易——但要在提升性能的同时提高能效，则是另一回事。
（来源：编译自nextplatform）
*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。
