GPU 巨头和 HBM 的主要买家英伟达凭借其高带宽内存 (HBM) 标准，有效地让 JEDEC 回到了设计图纸上。
HBM是一种通过中介层连接的堆叠式 GPU 内存 ，它绕过了 x86 插槽连接的 DRAM 的容量和带宽限制。联合电子设备工程委员会 (JEDEC) 于 2013 年发布了首个 HBM 标准JESD235 （受限访问），三星、SK 海力士和美光等公司生产了符合该标准的 HBM 芯片，这些芯片主要被英伟达、其系统集成合作伙伴和其他 GPU 制造商采购。如今，23 年过去了，英伟达却反其道而行之，不再将 HBM 内存控制器功能集成到 GPU 芯片中，而是将其移至 HMB 基片单元，从而为更多 GPU 核心腾出了空间。
此次变更源于英伟达的 NVHBM定制HBM标准，该标准是其8月份发布的NVLink Fusion系列产品的一部分。英伟达声称，与标准HBM4E相比，NVHBM可提供高达30%的更高内存带宽、15%的更低HBM功耗，并可在其GPU计算芯片上释放高达25%的额外面积。
几张英伟达GPU芯片布局图显示了这种效果：
目前，HBM 具有宽广的物理接口，通过中介层与 GPU 连接，HBM 内存控制器就位于 GPU 上。NVHBM 则采用更窄的 定制PHY接口，并将内存控制器功能从 GPU 中移除，这意味着 GPU 核心（用于 AI 处理）拥有更大的空间，HBM 带宽也更高。
然而，这只是英伟达特有的做法，并非行业标准。
由于英伟达是HBM（氢化生物金属）的巨大买家——据 摩根士丹利报道，英伟达将在2027年占据全球HBM供应量的37%——三大HBM供应商乐于配合，支持黄仁勋的巨头。他们甚至允许英伟达指定他们必须使用的半导体代工工艺，即台积电的3nm工艺。路透社报道称，三星将满足这一要求。韩国《首尔经济日报》则表示，三星仍将为其他客户自主生产符合JEDEC标准的HBM。
此外，亚马逊旗下的Annapurna Labs也作为英伟达 NVlink 合作伙伴为 NVHBM 提供支持。
JEDEC尚未就NVHBM发表任何公开评论。
NVHBM 实际上已成为行业标准，因为英伟达是 HBM 的主要买家，而 HBM 制造供应商只有三家，而且这三家供应商都为英伟达提供支持。
去年4月JEDEC发布HBM4标准时，HBM分委员会主席是英伟达技术营销总监巴里·瓦格纳。如今，他继续担任主席一职可能已不再可行。
JEDEC的一种应对措施可能是接受英伟达对其HBM标准制定范围的干预，并将HBM规范制定活动限制在HBM堆栈基础内存控制器芯片之上的堆栈。 另一种可能是继续沿用之前的做法，但英伟达不参与。第三种可能是朝着NVHBM方向发展，并添加一个具有更窄、更快物理通道的基础内存控制器芯片。这将建立在其目前正在进行的减少HBM PHY引脚数量的工作之上。
英伟达先进封装，巨变！
英伟达先进封装大变革，宣布正开发全新「中介层上整合光学」（OOI）技术，已有原型样品，以更大面积的中介层取代现行有机封装基板，并将光学引擎直接移至运算芯片所在的中介层。这将使得中介层跃AI新关键战略物资，联电（2303）、力积电（6770）成为当红炸子鸡。
英伟达指出，「中介层上整合光学」透过短距离、细间距布线，将光学引擎搬上运算芯片所在的中介层，让电讯号不必绕经有机基板，提升传输效率、降低功耗，同时提升频宽密度，突破AI芯片对外传输瓶颈，与目前GPU透过中介层高速连接高频宽记忆体（HBM）的思路相近。
业界认为，英伟达的GPU已引爆先进封装需求，后续迈入「中介层上整合光学」技术，将掀起业界新一波热潮。 「中介层上整合光学」最大的突破，在于将光学引擎从目前的有机封装基板，移至运算芯片所在的中介层，中介层用量与角色将更重要，也将使得中介层跃AI新关键战略物资。
台厂中，联电、力积电均已布局中介层，可望搭上英伟达光电整合与先进封装升级趋势，成为当红炸子鸡。
联电投入中介层多时，正积极扩产，并导入深沟槽电容的2.5D封装方案已出货予主要客户，主动式中介层也与多家客户进行验证，持续拓展AI应用。
联电相关技术涵盖硅中介层、深沟槽电容、晶圆级混合键结及主动式中介层，并与封测厂合作开发量产方案，从芯片互连、电源效率到异质整合，扩大先进封装服务范围，争取后续客户导入商机。
联电另一项优势是同步掌握硅光子制造，今年7月已交付与SILITH合作的首批12吋量产光子芯片，并持续拓展CPO及光学I／O应用，在光电整合程度提高，该公司可望从中介层、光子芯片两端争取商机，增加参与客户新产品开发的机会。
力积电将硅中介层列入公司「3D AI Foundry」战略重点，并对外展示相关先进封装关键零组件，结合集团客户的硅智财与产品设计能力，扩大AI代工服务，公司并调整既有生产资源，朝高附加价值产品发展，为承接新应用预作准备。
力积电规划，透过P3厂等既有资源扩大中介层布局，并结合深沟槽制程发展高密度硅电容，前者负责芯片间的高速互连，后者有助改善供电品质，两项技术相互搭配，扩大切入先进封装市场的机会。
（来源：内容来自半导体行业观察综合）
*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。
