本文来自微信公众号： 未尽研究 ，作者：未尽研究
相当长一段时间，AI基础设施供应链的议价权，曾从英伟达这样的计算芯片巨头，部分转向SK海力士等内存巨头。
但黄仁勋显然不甘于将内存这一关键环节的定义权交给供应商。黄仁勋领导下的英伟达，已经掌控了计算芯片与高速互连网络，在HBM供不应求、内存厂商议价能力持续上升之际，黄仁勋一直试图重新定义内存的技术演进方向，避免英伟达从AI基础设施的主导者，变成被内存供应商牵制的客户。
如今，失去黄仁勋的英伟达，还能抓住这个机会吗？
去年至今，HBM成为了AI算力扩张中最重要的产品之一。EpochAI最新估算认为，在智能体工作流中，英伟达GB300每芯片推理服务容量（inference capacity），约为H100的25倍，而事实上在FP8精度下的算术吞吐量仅提升了2.5倍。更大的收益来自并发数量与输出速度等，这也解释了为什么HBM如此重要。
这是内存厂商摆脱传统周期的绝佳机会。在内存厂商的HBM路线图上，继续提高DRAM堆叠层数，是重要的技术演进方向之一。按照KAIST金正浩教授团队发布的路线图，HBM4将支持12层和16层堆叠。
随着层数堆叠的增加，它的翘曲、散热等面临挑战，良率爬坡需要时间；而较低的最终良率意味着更多DRAM裸片无法转化为合格产品。这会进一步抬高HBM单位有效产出成本，并制造DRAM供给危机。如果内存厂商足够强势，还可以将成本转嫁给AI芯片厂商以及更下游。
但现实是，HBM正在变得更矮。几个月前，英伟达开始重新评估下一代Rubin Ultra的HBM配置，从12层设计转向8层堆叠。
分析机构SemiAnalysis认为，对于推理的经济性而言，HBM带宽往往比容量更为重要。随着推理与强化学习在算力需求中的比例持续上升，反复读取模型权重、访问KV缓存，让内存带宽正在成为更稀缺的资源。从整个AI基础设施的角度看，HBM的配置不必一味追求单颗加速器的最大容量，只要保证其系统总容量能够容纳模型权重和KV缓存即可。
这也是为什么，去年至今，英伟达反复调整HBM接口规格，要求内存厂商提高单个I/O引脚的数据传输速率，使其大幅高于JEDEC发布的HBM4标准。传统模式下，JEDEC制定HBM标准，SK海力士、三星、美光负责研发和生产，英伟达等芯片厂商根据标准集成HBM。
与此同时，英伟达推出NVHBM定制方案，试图减少GPU计算裸片上的内存接口电路占用，为更窄、传输速率更高的定制接口腾出空间。相较HBM4e，NVHBM的带宽最高可提升30%。
如果降低堆叠层数，能够减少单颗加速器所消耗的DRAM裸片，就有可能在不增加DRAM晶圆投入的情况下，生产更多HBM堆栈，支持更多AI芯片获得HBM供应，进而提高整个AI产业的算力交付规模。
长期而言，如果推理时代对内存的需求，从单纯追求容量转向带宽、容量与成本之间的综合平衡，那么AI基础设施对内存的需求，就可能不再由HBM这一种技术路线满足。黄仁勋也早已落子。
这周，在黄仁勋离职消息引发市场震动之前，另一则值得关注的消息，正是英伟达要求台积电这家长期专注于逻辑芯片代工的巨头，一起研究3D DRAM解决方案。市场将此与10月初英伟达计划投资d-Matrix的传言联系起来。
今年，有行业风向标之称的Hot Chips上，d-Matrix提出了自己的3D DRAM方案，正面挑战了HBM的推理带宽路径。严格来说，它并不是在DRAM内部实现存储单元的晶体管级三维化，而是将传统平面DRAM裸片与计算逻辑裸片进行垂直集成，即DRAM-on-Logic。
它的意义在于，将数据连接的扩展维度，从芯片边缘的“边长”拓展到芯片表面的“面积”，从而在不依赖进一步提高单条数据线传输速率的情况下，大幅提升内存带宽。这也是为什么d-Matrix敢说，这样设计将带来100TB/s的带宽。这也意味着，继网络之后，黄仁勋不再满足于将内存作为GPU旁边的独立产品。
但DRAM-on-Logic也有自己的局限。d-Matrix目前公布的方案，单卡DRAM容量只有32GB，远低于HBM4方案的192GB。它解决了带宽问题，却没有解决大容量存储问题。要进一步提高这种架构的容量，就需要从DRAM本身寻找答案，其中一条重要路径，就是让DRAM存储单元本身实现晶体管级的三维化。
HBM相对于传统DDR内存的一个重要优势，是能够将多层DRAM裸片垂直堆叠，在有限的封装面积内大幅增加内存容量。而狭义的3D DRAM，试图更进一步，在单颗DRAM裸片内部，将存储单元本身垂直构建成多个层级，从而提高单位晶圆面积能够容纳的存储单元数量。在全球DRAM巨头的技术路线图中，这一技术仍需要至少五年的迭代才能走向成熟。
但这并不意味着DRAM-on-Logic要等待五年。d-Matrix计划在2027年下半年初步交付的Raptor，已经可以通过将现有DRAM裸片与计算逻辑垂直集成，率先改变传统内存架构。等到真正的3D DRAM成熟，新的存储技术又有望进一步接入这套集成架构，替代现有的平面DRAM裸片。
届时，即使3D DRAM实现技术突破，如果它仍然只是被集成进英伟达系统架构的标准化内存产品，那么真正决定系统性能、产品定价和利润分配的权力，依然掌握在英伟达手中。黄仁勋构想里的英伟达的内存体系，应该囊括了d-Matrix的设计，以及台积电的代工。
3D DRAM-on-Logic仍然可能面临容量不足的问题。针对推理时代不断膨胀的上下文需求，内存厂商提出了HBF，试图以更大的容量补充HBM。而黄仁勋坚持的，则是英伟达自己的CMX（上下文存储平台），通过BlueField-4构建一个可共享、可复用的上下文存储层。不过，在今年的学术讨论会直播中，金教授认为，英伟达最终接受HBF只是时间问题。
英伟达一直试图将内存纳入自己定义的AI基础设施架构。如果没有这种持续的战略推动，内存厂商或许已经在这一轮AI基础设施扩张中获得更大的话语权。如果黄仁勋的长期布局顺利实施，英伟达就有可能将原本由内存厂商掌握的部分技术定义权和利润空间，重新纳入自己的系统架构。
但这需要跨越多个产业环节，投入数年时间，甚至重新分配供应链的利润。在SemiAnalysis创始人Dylan Patel看来，黄仁勋之于英伟达的价值，就在于他能够以“创始人模式”，维持对供应链的主导，并快速调整技术战略。
黄仁勋的离开，可能改变英伟达推动这些路线的能力，也让它能否补上AI基础设施内存架构的最后一块拼图，重新成为了一个悬念。
