在AI行业，寒暄已经从“机器有多少P（PFLOPS）”“能抢到多少张卡”，变成“能调到多少Token”“生成一个Token的成本是多少”。
10月18日，在2026全国高性能计算学术大会上，多位业内人士表示，推理算力成为需求主体，市场的关注重点转向Token性价比。软硬件协同可以加速推理，提升算力利用率，降低Token综合成本。
推理算力占比将达七成
“这些年不断创新中国速度与中国高度，连我们寒暄都升级了。从前问你们家机器有多少P，后来问你们可以抢到多少张卡，现在问你们可以调到多少个Token。”香港科技大学（广州）校长倪明选表示，如今，算力不仅是技术底座，更是驱动科研范式跃升的核心引擎。
“去年上半年，客户来找我们，询问的多是训练一个大模型需要多少张卡。现在客户一上来就问模型跑起来一秒能出多少个Token、生成一个Token的成本是多少。”新爱算为市场提供服务器交付和压力测试，其联合创始人杨智说，市场的冷暖他们往往能先感受到。2025年下半年开始，一线交付数据发现，推理需求持续往上走，慢慢超过了训练。智能体扎堆上线，消耗的Token是普通聊天对话的几十倍甚至上百倍。有的产品一上线，流量直接把服务器“挤爆”，不得不紧急扩容。
新爱算联合创始人杨智表示，客户关注点变成了Token成本，新的万亿级别蓝海市场在涌现。
“今年下半年，海外开发者用八个智能体重写了包括photoshop在内的Adobe七个核心软件。”在华为鲲鹏HPC（高性能计算）首席架构师丁肇辉看来，AI编程拐点已至。我国AI编程Token消耗量大约能排到第三，无论是项目周期的缩短，还是AI代码的占比，这些数据还会持续刷新。
“中国每天平均Token消耗从2024年的1000亿跃升到今年8月的500万亿，背后的主要推动力是AI应用从过去的对话机器人进化成能感知、会规划、能执行任务的数字员工，每次智能体执行任务，背后都要消耗大量算力，直接推动算力需求重心从模型训练转向推理。”联想集团首席科学家肖利民表示，推理已成为AI落地的主场景。
中国信通院今年9月公布的《词元（Token）经济发展研究报告（2026 年）》显示，单集1.5分钟AI短剧的Token消耗量可达500万-1000万。随着AI应用规模化落地，算力结构持续动态优化，推理算力需求快速攀升，预计2026年推理算力占比将达70.5%。
AI竞争将Token关注度推高到白热化阶段，谁掌握了Token的生产、流通和应用入口，谁就占据了AI时代的竞争优势。杨智表示，“未来Token工厂就跟楼房一样，会成为社会运转的基础设施，承载整个社会的智能化。”
加速推理，提升算力利用率
输入电力与算力，输出标准化Token，和传统算力工厂相比，Token工厂的核心效益指标从总算力规模、上架率转向每瓦Token产出效率、单位Token成本与Token服务质量。
“现在智算服务器已经出现了明显的供不应求。需求这么猛，硬件供给又紧张，出路在哪里？”杨智认为，要向软件要效率。推理比拼的是每一个Token的成本、能效、业务延迟，软件优化也能提升性价比。例如DeepSeek创新双路径KV Cache（Key-Value Cache，KV缓存机制）加载机制，让数据读取与GPU计算并行，解决传统架构算力空转问题，在线智能体运行效率提升1.96倍，用纯软件优化实现性能翻倍。“PD（Prefill-Decode）分离、FP4精度下的专家并行，一堆技术堆叠起来，板卡吞吐最高可以提升20倍。效率提高、Token成本降低，使用者和场景就越多，软件提效不会压制需求，只会点燃更大的需求。”
杨智表示，另一个值得关注的趋势是，2026年已经涌现出一批ASIC（应用集成电路）推理芯片的创业团队，“明年一定会更多，他们不追求做万能通用芯片，而是专门针对国内主流大模型做定制化，同等功耗成本下推理性能有机会做到同样GPU芯片的10倍-20倍。”
今年8月，AMD宣布收购AI推理芯片企业Taalas，以应对快速增长的人工智能推理市场。除此之外，去年12月，英伟达向AI推理芯片初创企业Groq投入约200亿美元，和Groq达成“非排他性授权协议”，英伟达获得Groq的芯片技术授权。“全球巨头都在抢夺ASIC推理芯片。因为一旦大模型架构收敛，ASIC的巨大机会就来了，这是万亿级别的蓝海市场。”杨智表示，推理产业正在向两极发展。一极往大走，由云厂商、大模型厂商主导，用超大规模推理集群运行超大参数模型；另一极往小走，端侧行业化小模型、工厂产线甚至终端设备本地运行模型，注重低成本、低功耗、高可靠，数据就近处理，这比拼的是定制化。当需求爆发、软件持续提效、芯片多元、推理两极分化，真正的Token工厂模式时代才会到来。
丁肇辉表示，超节点技术带来的高带宽内存语义已在AI训练和推理上发挥关键作用。此外，CPU正在重回计算的“C位”，从训练时代的CPU和GPU比例1:8、推理时代的1:4，到现在智能体时代预计会达到1:1甚至更高的比例。
联想集团首席科学家肖利民表示，推理已成AI落地主场景。推理链路中，超长上下文对历史KV大量重复计算导致算力紧缺。
在推理链路中，超长上下文对历史KV大量重复计算，导致算力紧缺。肖利民表示，目前业界主要有两种应对思路，KV Cache分层管理策略重点解决容量不足问题，存算融合策略重点解决缓存开销大问题。“我们会利用内存池化技术实现KV Cache大容量扩容和跨实例共享，在内存侧嵌入近存计算单元，减少数据搬运开销，整体上降低端到端的推理延迟，提升系统吞吐。”他表示，未来软件层面还可以持续扩展算子库，适配更多主流模型，加速推理，提升算力利用率。
