2030年AI推理需求将占算力六成

过去几年AI圈子的注意力都在训练上。几千张GPU堆集群、抢加速器是常态。

麦肯锡发布了《Scaling AI inference》，2026年训练和推理在总需求里各占二十九，到2030年总需求从120吉瓦涨到278吉瓦，推理占四成二、训练占二成八，推理单独拿下AI需求里的六成，年化增速三十六，快过AI整体三成的步伐。

备注：麦肯锡和Global Semiconductor Alliance合作，访谈了半导体大厂和超大规模云厂商的AI架构师

企业决策层的关注点变了，不问AI创不创造价值，改问创造价值时单位服务成本能不能接受。

企业买算力和基建是即时付费，流程重设计、数据打通、员工采纳、生产率兑现都要更久。一个AI部署在跑通之前会显得很贵。

高管预期自主系统接手更多工作后，成本会明显抬升，而大部分采用和配套基建可能还没发生。账算不平，企业就不敢规模化上推理。这笔账不划算，规模化就是空话。

训练一次花多少能估。

推理是持续的服务。延迟、吞吐、单位成本三道约束共同卡着。部署看起来贵，往往不是模型不行，是单位服务成本没压到能接受的位置。训练比一次投入，推理比一直能算回本。

领先的加速器、高带宽内存、先进封装、电力接入都在收溢价，因为供给追不上需求。

持久价值会落到能改善整系统经济性的层。降成本、提利用率、砍延迟、每瓦多产出，这些才是价值落点的标尺。

缓解带宽瓶颈的内存厂、维持机架一致性的互联商、让密度上去的散热和供电方，各自靠改善整系统拿到位置。稀缺赚一时，系统经济性赚长久。

短期收益集中在内存厂、头部加速器厂和少量定制芯片与互联公司。

扩散要等约束从算力移开。电源、散热、连接、传感这些环节，会给更多模拟、MCU和其他无晶圆厂公司留出差异化的空间。

谁能在系统层面解决一个问题，而不是在规格表上多一行漂亮数字，谁就拿到位置。专用化值钱，前提是它解决系统级问题。把数据手册写漂亮没用。

今天大量存量设备为训练设计、拿来跑推理，错配不在规格表上。训练奖励原始算力，解码奖励内存带宽。每生成一个token，要把模型权重和累积的KV缓存从内存里搬出来做很少的算术。

带宽而非峰值算力决定一个节点能多快服务。GPU加HBM的组合还会吃下大量负载。但推理需求越来越具体，单一默认配置会松动，按负载偏带宽或偏容量的多种配置会并存。

麦肯锡把2030年推理token需求按负载拆开。

大语言模型的文本和代码占八成二，非大模型占一成三，语音是剩下的。智能体、代码、对话搜索这类要100亿到1000亿参数、最长12.8万token上下文，偏重计算和内存；写作、机对机、媒体生成、物理AI、语音都在100亿参数以下。

看单条请求，合规工具读300页合同是预填充重、算力绑，语音助手逐token流式播报是解码重、带宽绑。在同一块硬件上，各自都为用不到的能力付钱。同一块卡，两头都浪费。

行业围绕这个分歧在改设计。

超大规模云厂商和AI实验室给最高量负载做定制加速器，Groq、Cerebras、SambaNova、d-Matrix这些SRAM路线专攻带宽绑的那一半。拆分组合也多了。

◎ 英伟达和Groq签了授权和人才转移。AWS用Trainium做预填充、Cerebras做解码。

◎ AMD搭Cerebras。

◎ 英特尔和SambaNova出蓝图把预填充交给GPU、解码交给可重构数据流单元。

◎ OpenAI的Jalapeño走相反路，一颗均衡加速器按阶段激活算力、内存、网络的对应组合，模型状态留在本地不搬运，Chiplet架构也在被普遍试探，想在标准计算平台上给定制方案。

专用化有个硬伤，芯片周期按年算、模型架构按月变，为某个负载定制的硅片造出来时，那个负载可能已经挪了位。

压缩周期成了行业的明目标。谷歌TPU好几代都用强化学习做布局规划，Jeff Dean公开说过AI方法能把设计周期从18到30个月压到3到6个月。

OpenAI的Jalapeño是迄今最硬的证据，和博通一起做，从第一版RTL到制造流片只用了9个月，而从零设计一颗ASIC要18到24个月。

OpenAI用自己的模型去探实现、压验证环、优化算术电路，基于机器学习的布局优化也成了主流EDA流程的标配而非实验件。

加速器仍是核心，但单独决定不了推理经济，硬件定天花板、软件定能挖多少。

硅片内性能由三件互相牵制的东西定：逻辑做计算、内存喂数据、网络连起来扩规模。上下文变长、智能体放大KV缓存流量，内存容量和带宽决定一个节点能并发多少请求，网络决定单条请求能铺开多大机架。再大延迟就吃掉收益。

供电和散热，液冷、微流控这些新路子，在算力之前先卡住密度。

近处的成本曲线可能由软件赢下：缓存复用砍掉重复预填充，小模型接简单查询再升级复杂项，批处理调度量化数据摆放，收益叠加，硬件就跑得更便宜。

AI嵌进关键流程后，政府和企业更看重数据在哪处理、用哪个模型、基建在哪、谁能看输出。

需求在分叉不是收敛。一家卫生部、一个国防部、一家区域银行要的可能是同一种能力，但数据驻留、获批供应商、模型出身、本地生态各有约束。

主权不是唯一拉力，普通竞争也一样：云厂商优化自家加速器，厂商守全栈平台，机器人和车厂按自己的延迟安全和功耗包线设计，都有理由分化。

结果大概率是好几套推理栈并存。主权只是在分叉上再压一层约束。

碎片化里开放模型和标准是经济必需而非意识形态。

◎ 开放权重让运营方把同一种能力带进主权云、私有集群或边缘，按本地可用的硅片调。

◎ 封闭模型能力领先、集成好，但把更多栈锁进单一厂商的生态，客户要控部署、控数据、控底层时更难适配。

开放互联和软件标准在硬件侧做同样的事。专用架构要摊回成本得有量。如果在十五个司法区服务要配十五套软件栈，集成负担会把买家推回好复制的通用平台。

通用标准让供应商把专用架构适配本地要求，不必为每个司法区另起一套软件，保住让专用化成立的规模。

基础设施按每个负载的价值重组，不再按每个组件的能耐排布。

没有哪家公司、哪一层能单独把推理经济算平，因为服务成本由硅片、内存、网络、软件、供电、散热和数据架构一起决定，而这些决定一旦做了很难回头。