2026年是我参加阿里云栖大会的第九年。
谭老师我几乎所有时间，
都待在真武超节点的展台，
听阿里的员工讲解，
听同行交流，
听友商打探，
当然也有很多券商股票分析人士。
他们比我更会提问，
有些对话堪比高手过招。
仅是听听，就非常过瘾。
也有人问，不就几台硬件吗？
有啥好看。
你错了。
有的真机，搬回数据中心，上电就能跑，
平头哥的真武芯片在超节点里。
现场，聊了一大堆：
800V直流供电，液冷，
正交背板，交换机，光模块。
然而，阿里过去并不是一家擅长硬件的厂商，
它是全国最大云厂商，
观察超节点，要有独特视角，
阿里云的AI算力系统叫灵骏，
同时它也是阿里云对外提供智算集群的名字。
（下文简称“AI算力系统”）。
选灵骏做样本，这事四年前就开始了。
我出版的书里，甚至写过灵骏第一代负责人。
其实，AI算力系统是个老概念了，
我也写了有几年了，
很多AI公司，或者大公司的AI团队，
多少都自建一个很简朴的算力调度平台。
以前提起来，
要么增加GPU数量，要么替换硬件。
现在，光干这点事情肯定不够了，
我先抛出我的结（暴）论。
未来，AI平台将会是大部分AI公司的核心资产，
不太可能交给外人来做。
这样，商机是不是就没了？
答案是未必。
方法论，我已经写在了本文第一句。
不过，我最近又听到了一个好答案：
可以把AI算力系统拆出来。
因为客户自己的业务，
不愿意被别人的平台控制。
不过，客户愿意拿内部AI平台，
调用外部算力系统。
这确实是一个答案。
这里有点绕，我多讲两句。
AI时代，平台有很多种，
客户自己的模型，
跑在自己的模型平台上，
云厂商也有模型平台，
要么帮客户优化模型，工具型平台，
要么帮客户把外部模型优化好了，
直接选着用就行，卖场型平台。
都是平台，怎么分工呢？
客户内部AI平台决定：
"跑什么，为什么跑，
跑出来的东西怎么变得更好"。
AI算力系统负责的是，
"如何跑，用什么资源跑，
怎么跑得又快，又稳，又省"。
下面无论哪种芯片，哪种超节点，
AI算力系统能决定它们发挥出啥样的水平。
现在是，客户不需要知道采用了哪种芯片，
状态位于哪一层，又亦或网络走了哪条路径。
我拿阿里云灵骏的“目标”举例：
它要做，
面向工业级基模推理定义的超节点实例概念。
那么重点来了：
“谈算力就是谈资源”已是历史。
于是，AI算力系统的设计目标也随之改变。
AI算力系统的本事是"把一堆芯片用好"，
当然，没有平台也可以把芯片用好。
非遗的手艺就是堆人。
有人可能说，复杂就多招点工程师干呗，
那我就不得不劝一句，
资深的工程师（Infra）年薪200-300万一年。
因此，算力需要开箱即用和自动调优，
而不是靠人工。
一个模型在AI算力系统上跑得快，
需要大量专门经验。
以前这些经验在高薪工程师脑子里，
一个人花几天把某个模型调快了，
但换一个客户，换一种卡，又要从头来。
经验没有留下来。
AI算力系统的价值在这儿摆着。
怎么把客户的所有麻烦总结一下？
这事我也琢磨过，
不过，我看灵骏总结的挺好。
他们用四堵墙来形容。
也就是四件事，环境，编排，故障，调优。
不过我再加一个维度。
就是国际环境给芯片带来的难题。
以国内芯片的独特情况，
国产多种芯片，或者加上存量英伟达卡，
就是混合集群，
混合有个缺点，
每多一种芯片，所有模型，
所有版本都要再适配一遍。
而美国市场，因为硬件偏单一，不太需要。
麻烦因硬件而起，软件要踢补位球。
但是软件自己也不好过，
模型，智能体的变化是按周计算的。
我整天日学夜学这些变化，都感觉学不过来。
硬件本身迭代周期就慢，
软硬件适配雪上加霜。
唯一我认为比较欣慰的演进就是超节点的出现。
我认为，超节点的本质，是把"一台计算机"做大，
让模型少切几刀，少过几次网络。
做大也是有代价的，
根据麻烦守恒定律，
麻烦没有消失，只是从这里，转移到了那里。
对于超节点来说，
那些只要能用的起的厂商，都在用。
谭老师我很久不聊训练了，
训练的相关技术栈已经成熟了。
而推理却正热闹，而且我判断，
且得热闹好一会。
以前的推理复杂度还可以接受，
现在系统级的复杂度简直逆天，
讲真，我梳理清楚，都累得要死。
假如没有AI算力系统？
我甚至可以专门写一篇稿子，
只写这件事有多难。
仅仅列七点，让大家感受下。
第一，以前的推理，
比的是单卡算得多快。
现在是瓶颈在计算，显存，网络三处来回跳；
第二，同一个GPU利用率异常，
代码开发，训练，推理，
可能是三种完全不同的问题。
第三，GPU规模是固定的，
白天和半夜的用户人数差几十倍；
这种利用率空闲，是天然的。
你怎么解决
第四，一个智能体，能一个操作，
就能派出一批请求同时涌进来。
能这样干的智能体不是一个，是一群，
第五，我还没有给你讲，智能体的任务，
可不是一条事先画好的直线。
它想在哪步奔溃，不会和你商量。
第六，别忘了，还有上下文窗口，
主力旗舰模型的上下文窗口，
已基本统一在100万token左右，
这是是标配门槛，
甚至不再是模型竞争的差异点，
东西大了，随之而来是要存，
要挪，要取都很费事。
第七，token和token也不一样。
token论数量，也得论质量。
差不多去年吧，可以讲这样一个故事，
你卡不够，我卡也不够，
但我比你多赚钱，你服不服？
卡不够的时候，靠产品而不是靠人，
让同样的卡，多产出30%的token，
就等于多了30%的卡。
而2026年的新故事来了，
多出来的token也不重要，
要看任务完成了吗？
任务完成的质量怎么样？
我来给大家增加几个新的KPI：
Goodput是否提升？
TTFT是否达标？
TPOT是否达标？
P99是否达标？
故障恢复时间是否下降？
单位成功任务成本是否下降？
同样的芯片规模，这些事情都要做好。
AI算力系统的价值，就在这明摆着了。
没有AI算力系统，
为何AI芯片就成了“散装资源”？
我还是以灵骏为例：
三年前，我还在写灵骏是把计算，互联，存储，I/O，
设计成一个系统，并以"实例"的形式交付给客户。
那时的"管理"主要停留在资源层，
客户开通实例，配好网络和存储，
拿到一批性能很强，彼此匹配的资源。
现在看来，如果还是这个形态，就落后了。
那大家都是怎么理解变化的？
灵骏团队的内部说法是：
计算机的生产函数已经完全变了。
这话有很深的含义。
现在的AI算力系统，
要决定把哪些资源，
以什么方式给哪个任务。
注意是任务，而不仅仅是停留在“存算网”，
我认为，面向任务的算力控制器，
任务是一个应用视角，
智能体是当下最热的应用。
观察灵骏，也是向这个方向演进的。
他们不是脱离算力再做一个控制器，
而是向上构建，
我看灵骏在云栖上有个AI超级计算机的控制器，
为什么要控制器？
硬件决定这台计算机能做什么，
控制器决定它实际怎么做。
不是从无到有，而是从散到聚。
传统控制器控制的是指令，
灵骏是面向任务控制算力。
当下可以说是智能体为中心，
控制器需要在，
任务运行的整个生命周期里一直在场，
那种提交任务时做一次分配就撒手的做法，
已经不合适了。
运行中盯着指标，
出了故障去诊断和恢复，
负载变化时扩缩容，性能不理想时，
采集（profiling）和调优。
采集任务的运行日志，
从而能够联动任务，容器，
Iaas联合判断定位故障。
或者说，控制器的活，以前靠客户手动，
而现在在产品里。
控制器是驾驭整个计算集群的全新核心部件，
管理"任务怎么跑完和跑好"这件事，
并且可观测（展示过程），
控制器管任务从启动到结束的全过程，
调度功能也肯定得配给控制器。
调度只回答其中一个问题，
"什么时候跑，放在哪里跑"。
大视角下，控制器的出现是为了解决四堵墙，
控制器= 环境 + 编排 + 故障 + 调优，
这四堵墙，每个都能拆出很多技术细节，
我选一个角度，比如，编排里的调度，
KQC Scheduler是灵骏推理运行时中的调度能力。
一个请求进入系统后，
它会综合请求特征、KV Cache的前缀命中情况，
以及各个Prefill 实例的队列深度和运行状态，
预测请求被路由到不同候选实例后的首Token延迟，
也就是 TTFT。
它解决的是一个典型矛盾：
如果只看KV Cache命中率，
请求可能集中到同一个热点实例，
导致排队；
如果只做负载均衡，
又可能打散Session，
损失已有的KV Cache。
于是，KQC会在缓存复用和排队延迟之间动态权衡，
把请求发给预测TTFT最低的Prefill实例。
至于Prefill和Decode应该分别配置多少资源，
则是InferPlanner负责的。
它会结合模型、GPU类型、输入输出长度、
并发量、SLO（服务等级目标）和资源预算，
选择是否采用PD分离，并规划P/D实例比例及并行策略。
例如，在给定的吞吐（TPS）约束下，
可以重新规划为6P4D，7P3D或8P2D等不同配置。
推理系统是这套AI算力系统的一部分，不是全部。
两个组件，KQC Scheduler 和 InferPlanner，
都属于其中的推理部分。
能看到，灵骏集群重心转向“智能体”，
做的关于智能体带状态负载的支持，
计算存储网络要构建亲和性集群等等。
训练是上半场。
今天，开源基础模型已经足够强，
从头预训练集中在少数几家，
大多数 AI 公司的诉求变成了：
在基础模型之上做后训练，
再把模型做成服务。
而这两件事，都越来越依赖推理，
模型服务这事，本身是推理，
后训练里的强化学习，
其采样（Rollout）也是大规模推理。
所以，下半场拉开差距的，
是谁更会做推理系统。
KV Cache早都走出单机。
它会被分层存储到HBM，
DRAM，SSD乃至远端池化存储,
或以KV Cache为中心的架构，
KV Cache会在P节点与D节点之间传输。
于是，内存层级，存储和互联，
都被卷进推理的关键路径，
推理从"算力问题"变成了，
"KV Cache数据搬运和状态管理问题"。
这将导致，算力不再是唯一的资源，
传KV Cache，带宽难道不是资源吗？
存KV Cache，显存就不是资源吗？
KV Cache弄不好，就热闹了，
影响的不止是并发上限，还有尾延迟和成本。
这点，我问了灵骏的专家：
他给我的答案是：
“上百K甚至M级别的上下文，串行多伦对话，
考验KV cache智能感知，
考验端到端延时优化，
考验完整供给链路的稳定性。”
不展开讲不清楚，
展开讲就太长了，
专家告诉我，他回答我的时候，
也在疯狂压缩他的上下文。
另写一篇《推理和智能体》吧，
这篇眼瞅就5000字了，
我们相约下篇。
最后，也有人会说，
稀缺会导致囤卡，长合约，算力向大厂集中。
中小公司搞AI拿不到卡。
只有卡的公司，才有资格建算力平台。
这点我要反驳一下，
议价权反而回到它手里。
AI算力平台管好芯片，管好超节点。
做一套优质的AI算力调度系统，
约等于重做一套云计算。
是这次阿里云栖大会的亮点之一。
AI芯片，AI云，AI模型，AI应用
这四笔钱，每个科技头部厂商都想赚，
人间总有遗憾，
有的模型没做好，
有的云始终毛坯，
有的没自研芯片。
中国互联网平台中，
阿里是少数也能把基础模型与公共云，
做成一套规模化商业系统的公司。
几年前，我还在和阿里云的人聊，
灵骏实例形态从8/16卡的灵骏裸金属，
演进到现在的64卡超节点。
最近，阿里的朋友又告诉我，
上线了规模高达13万张的GPU灵骏集群。
这是怎么样的壮观规模？
云栖大会发布的真武V900。
据说是是目前中国算力性能最强的AI芯片，
3倍于M890的性能，
基于它构建的单一集群可扩展至50万卡。
50万卡，那是什么壮观景象，
我确信，算力平台的技术复杂度，
根本不可能降下来（苦笑）。
1.独家深度丨夸克健康大模型调研报告
2.熬夜三年肝损害，AI博主也靠AI学“续命”医学知识
3.为什么AI能预警心脏主动脉“血管炸弹”？
4.对话作者：全球首个开源手术视频大模型SurgMotion
5.阿里达摩院：做胸腹部CT，顺便筛了肠癌｜独家对话和睦家医院朱刚主任
6.我用剧烈腹痛两周，读懂了阿里达摩院《科学》论文RADAR
7.阿里达摩院又又又发布食管癌AI模型
《AI产品和技术模块》
1.Kimi Agent产品很厉害，然后呢？
2.搞懂“记忆”必看｜吃透Engram
3.实属踩踏了？深水炸弹Seedance掩盖Seed2.0
4.Harness内心OS：大模型只管想，剩下烂摊子全我的
5."纠缠软件"是什么？Agent？还是Harness?
6.排行榜是别人的，手感是自己的：Kimi K2.6体感报告
7.Agent才不会"赢家通吃"，证据来了……
8.央企OPC的玩法和困境：让Agent能跑，还要改造费？
9.Agent大战，赢家暗自在哪下功夫?
10.我建议DeepSeek搞个『峰谷差千倍』大促销
《具身智能》
1.“26年具身智能，根本做不过来”：含陶大程教授独家
2.漫画：大模型“强控”具身智能机器人？
2.英伟达：照抄者死，阿里华为：AI集群狂飙『全解耦』
3.阿里华为『血战』英伟达AI超节点
4.抢在英伟达护城河合拢前，硅光的冲刺与最后窗口
5.OCP现场 l 北美AI巨头罕见共识ESUN，利益握手
6.为什么有些『闪断的锅』，硅光不背?
7.为了Token，阿里云竟然出了一个TPN？
8.杀死Token成本：靠的不仅是更强的芯片
9.独家深度 | 光互连战争：CPO还没有赢，NPO怎么继续活？
