飞象网讯（沐梓）随着智能体AI（Agentic AI）落地普及，过去AI行业习惯以Token生成速度作为核心标尺的评估逻辑已经难以完整反映真实业务表现。智能体不再局限生成文本，而是要完成代码调试、业务自动化、数据模拟、任务规划等现实动作，CPU承担的工作占比持续抬升，如何科学衡量CPU的实际能力，已经成为产业落地必须解决的关键命题。
负载结构转变：智能体时代CPU重回C位
在传统大模型推理场景，产业的关注点集中在每秒Token产出，GPU承担模型推理生成的核心任务，CPU更多充当辅助调度的配角。但智能体AI的工作流被拆分成两大模块，彻底改变了算力分工格局。
第一部分是推理与规划，也就是Token生成环节，主要运行在AI加速机架，需要充足内存、存储支撑上下文解读；第二部分是工具调用与编排，即把生成的内容转化为实际行动，这部分工作几乎全部交由CPU服务器承载。
“智能体AI出现之前，AI领域主要以Token（词元）生成来衡量性能，即每秒Token数、每瓦Token数和每美元Token数。智能体AI改变了这一点：它要求生成的Token能够在真实世界中得到切实应用。”Arm 云 AI 解决方案架构总监Ravi Malhotra如此点明行业评价逻辑的转变。
从行业已经涌现的五类典型智能体落地场景，包括软件工程、企业自动化、科学与金融研究、个人助理、机器人技术来看，不同场景对CPU的诉求差异巨大。软件工程类智能体，需要完成代码生成、打补丁、测试排错，编译测试会消耗大量CPU周期，更加看重单智能体的个体性能；企业自动化、个人助理场景，多是访问网页、查询数据库这类短周期操作，单任务压力不大，但需要海量智能体并发运行，对整体吞吐量、运行效率提出高要求；金融与科学研究依赖多智能体协同模拟计算，产生海量领域数据；机器人技术尚处在发展早期，但未来潜力巨大。
值得注意的是，Claude Code、阿里Qoder、Meta Muse等一批实际应用已经落地，斯坦福Terminal‑Bench、SWE‑bench等学术基准工具相继面世。应用与基准的同步涌现，也倒逼行业重新思考CPU的评判标准。
Ravi Malhotra认为，在智能体AI时代，CPU重回C位，身上承载三类关键任务：“第一类，是要把已经生成的Token转化为行动。无论是构建代码、测试代码，还是访问Web服务器和数据库，都属于这一类。第二类是Token生成。CPU需要能够把这些数据存放在KV Cache和向量数据库中，并尽快传输到运行模型的加速器上。第三类，是编排以及在沙箱中实现隔离：把token生成与行动连接起来，构建完整的端到端流程，以完成用户所下达的任务。”
一旦CPU处理效率跟不上，昂贵的GPU就会陷入等待闲置，直接拉低整套AI集群的资源利用率。“如果CPU不够快，更昂贵的GPU就会处于闲置状态，而这是没有人希望看到的结果。”Ravi Malhotra提醒行业注意这一风险。
建立新评估方法论：组件基准结合端到端基准
针对智能体工作负载的复杂特性，Arm在白皮书中提出一套全新评估思路，摒弃单一分数评判，把组件基准测试和端到端智能体基准测试结合起来，兼顾底层硬件组件能力和完整业务链路表现。
“组件基准测试，测试Web服务器、数据库或模型服务的开销，可以让我们精确了解单个组件的表现。但它无法反映这些组件在智能体工作流中是如何连接并协同运行的。这就需要智能体基准测试发挥作用，为评估端到端的智能体工作流提供具有代表性的参照。”Ravi Malhotra解释两种基准的互补关系。
组件基准测试聚焦独立模块，不同组件，考验CPU的硬件能力各有侧重。工具调用场景看重IPC每周期指令数、IO吞吐与并发能力；编排任务重点考验CPU并发规模和资源利用率；作为头节点承担推理规划任务时，单核性能、分支预测、缓存、内存延迟与带宽，成为决定性指标。
端到端智能体基准测试，则瞄准完整智能体工作流，重点考察可扩展性、并发能力。这里不能片面追求最大吞吐量，必须兼顾SLA服务等级协议，也就是Arm所强调的“持续性能”。例如软件开发类任务，单个核心承载1‑2个智能体就已经接近服务质量上限，继续增加并发数量就会超时失效；企业运营、个人助理类任务，则可以支撑更大规模并发。选型过程中，单核能力与整机扩展能力，二者缺一不可。
“我们之所以要从机架层面来看整体性能，是因为客户在数据中心里部署和使用的是整个机架，而不仅仅是单颗CPU。”Ravi Malhotra在媒体问答中着重强调机架视角的价值。单CPU芯片跑分，无法体现功耗、内存效率、单机架可部署核心数量等现实约束。同样的功耗预算之下，如果CPU单核心功耗更低，机架内部就可以塞入更多核心，最终带来整机柜层面的性能差距。
据介绍，为了落地这套方法论，测试选取了覆盖全链路的代表性负载：nginx、MySQL代表工具调用；Milvus向量数据库、vLLM、fastText对应推理规划；Docker、Firecracker、gVisor沙箱环境用来衡量编排环节的隔离开销；SWE‑bench、Terminal‑Bench作为软件开发智能体的端到端参照。
沙箱创建开销尤其值得重视，出于安全隔离，每一个智能体都需要独立沙箱环境。“创建沙箱并让它准备好运行任务需要时间，这一创建时间非常重要，即便以毫秒计，其影响也可能相当可观。”Ravi Malhotra指出，沙箱的时间开销，会直接传导到整体业务吞吐能力。
实测结果背后：性能、效率、可扩展性的平衡之道
Arm联合独立技术分析机构Signal65开展对比测试，将Arm AGI CPU和第五代AMD EPYC（Turin）处理器，放在各类智能体工作负载下横向对标。测试限定相同机架功耗预算，剥离GPU推理部分，专门聚焦CPU负责的业务环节。
综合全部测试负载，Arm AGI CPU整机架性能达到AMD EPYC 9755的1.99倍。拆分不同业务维度来看：工具调用场景机架性能为对比平台1.7倍；向量数据库、模型服务这类推理规划负载达到2.2倍；完整端到端智能体基准，性能约为对比平台2倍。在每核、SoC芯片层面，平均性能相比对比对象高出约20%。
“由于每个核心的功耗更低，在相同的机架功耗预算下可以部署更多核心。将每核及每颗CPU的性能，与每机架更多的核心数量结合起来，就带来了约2倍的机架级性能优势。”Ravi Malhotra解读测试背后的逻辑。更大的优势来源于能效，叠加单核心本身的性能优势，共同放大整机柜产出。沙箱容器创建的开销上，Arm AGI CPU同样展现出明显优势。
这套能力来源于Neoverse V3核心的架构积淀。“低功耗一向是Arm CPU设计的核心，也是我们30多年来的优势所在。”Ravi Malhotra介绍，从Neoverse N1迭代到Neoverse V3，研发团队深度对接超大规模云厂商，针对数据库、缓存、机器学习推理等云端真实负载持续打磨微架构、网格互联架构，在迭代升级性能的同时，严控功耗增长，最终适配智能体时代多样化的CPU需求。
硬件之外，生态配套已经落地。Arm推出两款服务器参考设计，1OU双节点、2U2P双路机型，超微、联想、华擎科技等合作伙伴已经推出商用量产服务器产品，覆盖风冷、液冷，适配Open Rack等主流机架规格。服务器定位也各有区分，例如超微5U平台，将Arm AGI CPU充当头节点，搭配第三方AI加速器协同工作。
行业现实困境：标准尚未统一，选型拒绝“一刀切”
当下产业还处在早期阶段，Arm、AMD、Intel都推出面向智能体的CPU基准方案，各家选用的工作负载、部署拓扑、统计口径各不相同，出现多家机构“各自测量宇宙”的局面。
对此Ravi Malhotra明确：“Arm提出的是一套评测方法论，而非正式的行业标准或单一基准测试，旨在为业界提供一个切实可行的起点。”
行业并不适合用一套固定权重、一个统一分数衡量所有场景。本次研究筛选软件工程、财务与科学研究、个人助理等五类原型，依据来自行业内活跃度高、用户规模大的真实应用。但Arm并不主张给不同场景设置固定权重。“我们不建议对这些用例采用任何基于权重的分配方式，因为每个应用、以及用户希望智能体完成的任务都各不相同。”Ravi Malhotra表示，企业应当对照自身业务，挑选匹配自己业务的组件与端到端基准开展评估，而不是直接照搬公开汇总得分。
智能体软件架构本身迭代速度极快，“几乎每周或每隔一周都会出现一个新的基准”。Ravi Malhotra坦言，评测体系不会就此固化，会跟随智能体工作负载的演进持续更新。
在硬件分工层面，CPU、GPU、DPU如何协同，避免头节点成为瓶颈，是所有架构师需要面对的难题。“软件开发智能体，由于它是长时间运行的，在运行过程中会累积大量上下文，因此需要一个很大的KV Cache。另一方面，企业客户支持类应用的上下文量并不大，任务通常持续时间短得多。”不同业务，直接决定集群内部各组件配置规格。CPU与GPU之间的网络互联带宽、延迟同样会影响整套系统表现，这也是后续行业测试需要纳入的维度。
写在最后
智能体AI时代，CPU重回舞台中央，并不代表CPU会取代GPU。GPU依旧承担模型推理生成的核心任务，CPU负责把生成的内容转化为现实世界的行动，二者相互配合。很多人容易陷入只看单芯片跑分的误区，但真实数据中心受功耗、机柜空间、SLA约束，机架级持续性能，才是业务落地最有价值的指标。
从技术测试到商业落地，基准测试的优势能否转化为成本下降，取决于具体业务形态。Ravi Malhotra举例：“在企业运营中，并发程度很高，每个核上要运行多个智能体，沙箱开销越低，系统在相同时间内能够处理的客户支持工单就越多，进而提升整体效率并降低单个任务的成本。”
企业客户支持、供应链管理、个人助理、软件开发，有望成为驱动企业智能体AI基础设施升级的几大主力场景。
整个行业正在从单纯追求Token生成速度，转向关注智能体完整任务的完成质量。“没有两个智能体AI应用是完全相同的。”Ravi Malhotra提醒，市场需要的是一款在性能、可扩展性、能效三者之间做到均衡的产品。智能体AI还处在快速演化周期，算力硬件、评测基准、软件框架都会持续迭代，如何把硬件性能转化为业务实际收益，是全行业需要持续探索的命题。
