芯东西（公众号：aichip001）
作者 | 李水青
编辑 | 漠影
GPU集群推理撞上性能瓶颈，类脑芯片来“增压”！刚刚，国产类脑超节点站上了新高地，为国产算力降本增效带来了新解。
智东西11月4日报道，在11月2日至11月5日举办的2026世界互联网大会上，“互联网之光”博览会公布十大精品首发成果。由北京灵汐科技有限公司联合中移（苏州）软件技术有限公司、中国电子科技南湖研究院共同申报的“面向大模型高性能推理FFN加速类脑超节点”成功入选。
这套方案的特别之处，在于将GPU与类脑芯片组合起来，让GPU负责Attention（注意力机制）计算，类脑芯片专门承接FFN（前馈网络）及MoE（混合专家模型）专家层推理任务。早在9月举行的2026中国算力大会上，这一国产GPU+类脑芯片异构混合推理系统就已完成全球首次公开亮相。
从算力大会的样机首发，到互联网之光的标准化算力单元公开展示，国产AFD（Attention-FFN Disaggregation，Attention与FFN解耦）路线开始进入产业卡位阶段。
它瞄准的方向，是全球大模型推理架构正在兴起的AFD路线。英伟达已将Rubin GPU与Groq LPU组合，探索下一代异构推理架构。国内灵汐科技则依托自研类脑芯片，走出了一条中国特色的技术实现路径。
一、GPU推理的效率瓶颈，藏在Attention和FFN的分工里
大模型推理为什么越来越贵？
背后原因指向资源错配，GPU内部不同计算任务对硬件资源的需求并不相同。以Transformer架构为例，每一层都包含Attention和FFN两个核心模块。前者主要处理上下文信息，需要频繁读取KV Cache，对显存容量和带宽要求较高；后者主要加载模型权重进行矩阵计算，承担大量计算任务。
当前主流的GPU计算架构芯片在面向大模型高性能推理需求时存在两方面的不足。第一是由于冯诺依曼架构形成的内存墙，计算能力远高于数据的供应能力，造成算力利用率不足，功耗浪费；第二是GPU的动态调度机制，在满足并行计算的同时，也带来了延时的不确定性，容易造成延时高。当GPU面对大模型高性能推理时，Attention更依赖显存带宽，FFN则需要充足的低延时计算资源，两种任务塞进同一张GPU，资源错配很难避免。
在MoE中，这一问题更加突出。模型虽然拥有大量专家，但每个Token只会激活其中一部分，计算任务被分散到不同专家，导致FFN难以形成足够大的计算批次，部分GPU算力可能处于闲置状态。
如何让不同模块各自获得最合适的硬件资源？
大模型推理架构正在从P/D（Prefill/Decode）解耦，进一步走向AFD，即Attention与FFN模块级解耦。前者将预填充和解码分配到不同计算资源，后者则进一步把每一层Transformer中的Attention和FFN拆开部署。
这已经成为全球产业探索的方向。2025年12月，英伟达将Groq及其存算一体LPU技术纳入体系；2026年3月首次发布Rubin GPU与Groq LPU混合集群方案，预计今年底全面推向市场。Groq LP30每颗带有500MB由编译器管理的片上SRAM，尽量把权重与激活留在片上。
国内，灵汐科技长期深耕类脑芯片设计及其大模型推理应用，KA200采用片上存算一体、事件驱动架构，技术思路与Groq LPU高度相似，实际提出和启动研发的时间也不晚于英伟达。
二、把FFN交给类脑芯片，国产异构推理如何实现？
这套系统的核心变化，是让GPU和类脑芯片各自负责擅长的工作。
在灵汐方案中，GPU负责Prefill、KV Cache构建与维护，以及Attention计算，发挥并行计算能力强、HBM显存大、软件生态成熟的优势；类脑超节点专门承接FFN前馈网络和稀疏MoE专家层推理，发挥KA200存算一体、事件驱动、高片上带宽的特性。
KA200类脑芯片采用12nm制程，核心优势在于片上SRAM存算一体和事件驱动机制。传统GPU需要在显存与计算单元之间反复搬运数据，KA200类脑芯片则将权重直接驻留在计算单元旁边，数据不必长途搬运；事件驱动机制则让计算资源根据输入事件进行调度，减少无效工作；静态编译技术，将指令与数据路径提前规划好，实现零运行时调度，实现延时的确定。
但把两种芯片连接起来，远比简单地把计算任务分配给不同设备复杂。
工程实现上，灵汐采用了3至6台GPU服务器与3台类脑超节点组成系统，每台类脑超节点由数千颗KA200类脑芯片互联而成。GPU侧原有的FFN算子会做卸载，部署在类脑侧；类脑侧完成计算后，会把输出写回GPU侧，对接模型的Attention相关计算。完整推理流程由GPU和类脑节点共同驱动，类脑侧作为FFN服务节点使用。
值得一提的是，FFN部分直接用静态编译方法，编译后确定分配到超节点上各个芯片的片上SRAM部署，让数据流水和时延实现可确定性的计算和优化，逐步消除时延的不稳定性和随机抖动。
支撑这套协同的，是自研模型编译器、高速互联协议和统一异构推理引擎。超节点硬件由HP640系列类脑计算板卡、LynxLink高速交换机构建，软件搭载异构调度引擎与统一内存地址编译技术。系统原生兼容PyTorch、DeepSpeed、Megatron-LM等主流大模型开发框架以及多种主流推理引擎，无需对模型做复杂二次改造。FFN加速能力被封装成可独立交付的算力单元，具备硬件无关、模型无关特性，可直接与存量GPU服务器混合组网，适配现有智算中心机柜风冷部署条件。
结合英伟达Rubin GPU+Groq LPU方案来看，灵汐走的是一条国产化的异构推理路线。它不要求GPU退出推理系统，而是通过增加专用类脑算力节点，给GPU装上一台“涡轮增压器”。
三、每秒数万Token之外，更大的想象力是让存量GPU焕新
架构创新能否成立，最终还要看实际输出。
此前，灵汐团队基于DeepSeek V4 Flash模型完成异构推理测试。在不低于32K长上下文条件下，3台到6台A800 GPU服务器搭配3台类脑超节点，系统输出吞吐达到数万到十万Token/s。
按照项目资料中的同等投入成本对比，GPU+类脑超节点方案的推理吞吐与能效均实现1倍以上提升，综合业务运营成本下降超过40%。这套方案也已在头部电信运营商智算中心完成主流大模型商用验证。
更值得关注的是，当前测试成绩仍在向更高的水平迈进。
据项目团队介绍，DeepSeek V4 Flash采用MoE架构，每个Token只激活256个路由专家中的6个，后续通过混合专家优化和模型量化的叠加，有望进一步降低硬件资源需求。
两项优化叠加后，项目团队给出的目标是将系统输出吞吐提升至数十万Token/s。
从产业角度看，这套方案的价值还在于利旧。
当前，不少智算中心已经部署了大量GPU服务器，其中部分存量GPU的性能与新一代高端产品存在差距。灵汐已经与天数智芯较早型号的GPU完成对接，推理输出和推理能效也均提升1倍以上。
未来，FFN类脑超节点有望连接不同类型的GPU，形成更灵活的异构算力集群。对于国产GPU厂商和智算中心运营商而言，这也提供了一条新的扩容与降本路径。
结语：给GPU装涡轮，Token工厂迎来新底座
从单颗芯片的制程竞争，到GPU与类脑芯片的系统级协同，国产算力正在探索新的性能增长空间。当大模型推理进入规模化应用阶段，决定算力竞争力的因素已经延伸到硬件分工、数据搬运、跨架构调度和系统能效。
灵汐FFN加速类脑超节点入选互联网大会十大精品首发成果，意味着国产异构推理路线正在从技术验证走向标准化产品探索。让不同架构的芯片各司其职，让已有算力发挥更大价值，或许将成为下一阶段国产AI Infra竞争的重要变量。
这也同时意味着，Token工厂算力方案对纯GPU架构及先进HBM的依赖性将有所下降，用国产类脑芯片对GPU“涡轮增压”的混合异构集群时代即将到来。
