上周，Arm 正式发布了其针对代理式人工智能（Agentic AI）工作负载的数据中心处理器——AGI CPU。根据 Arm 公布的模拟测试数据，在七种特定工作负载下，AGI CPU 的单机架性能约为 AMD EPYC 9755 的两倍。这一结论基于 Arm 新提出的评估方法，该方法由富士通、Meta 和 OpenAI 共同支持开发。
独立分析机构 Signal65 受 Arm 委托对测试结果进行了验证。尽管数据证实了 AGI CPU 在特定配置下的优势，但并未确立其为代理式 AI 领域的绝对领导者，因为结果高度依赖于所选处理器、工作负载及具体配置。此外，该评估采用了 Arm 倡导的新标准，而 AMD 和 Intel 等其他芯片制造商则倾向于使用不同的基准进行性能对比。这引发了关于如何更准确地衡量 AI 时代 CPU 性能的讨论。
面向代理式 AI 的新评估方法论
随着代理式 AI 的发展，数据中心 CPU 的角色正在发生转变。除了加速器处理的推理任务外，AI 代理还需要执行工具调用、获取数据以及在隔离环境中维持状态，类似虚拟用户的行为。CPU 负责处理这些关键的周边工作负载，包括运行工具、服务数据库或 API 请求、准备数据以及协调加速器的工作。
鉴于此类工作负载的快速扩展，单纯衡量同时运行的代理数量已不足以反映真实性能，关键在于系统在完成有用工作方面的效率。Arm 认为，CPU 性能应取决于系统在保持响应性的前提下所能维持的有效工作量。如果加速器因等待 CPU 指令而闲置，支持更多并发代理带来的收益将十分有限。此外，电力、冷却和物理空间限制了硬件部署密度，使得性能评估必须扩展到机架级别。
Arm 提出的评估框架以代表性代理工作负载、可重复的 CPU 测量以及对端到端任务结果的验证为核心。该方法识别代理使用的工具和服务，在受控条件下测量 CPU 性能，并检查性能提升是否切实改善了代理完成任务的效果。例如，通过数据库测试确定交易处理速度，并通过端到端评估验证更快的数据库访问是否优化了依赖它的工作流。
为确保比较的可重复性，Arm 建议重播记录的代理操作序列，以消除模型推断和远程服务延迟带来的波动，从而区分 CPU 性能差异与代理行为随机性。其白皮书为选择和解释这些测量提供了框架，旨在推动行业建立一致的基准和评分标准。
七项关键工作负载测试详情
为了验证上述框架，Arm 选取了七个工作负载进行测试，涵盖工具使用、代理工作流程以及推理/规划场景，其中包括 Sandbench，用于测量创建代理执行沙箱的开销。这些测试结合了成熟的服务器应用与专注于代理工作流程的基准。
| 工作负载 | 代表场景 | 指标 |
MySQL | 代理工具背后的事务数据库 | 每秒事务数 (TPS) |
NGINX | 网络和 API 请求处理 | 每秒请求数 (RPS) |
Milvus | 检索用的向量搜索 | 每秒查询数 (QPS) |
| Terminal-Bench 2 | 72 种代理任务类型，在沙箱容器中每次运行 128 个副本 | 任务完成时间 |
| SWE-bench Replay | 软件工程代理工作流程，包含 259 个任务 | 每分钟完成任务数 |
| fastText | 文本表示训练 | 每秒单词数 |
| vLLM CPU Overhead | 超越模型计算服务的 CPU 开销 | 每秒请求数 |
值得注意的是，vLLM 测试结果仅测量围绕模型执行的 CPU 工作，而非 GPU 推理吞吐量。报告中的“推理/规划”类别主要关注支持 CPU 工作负载的能力，并未评估模型的智能推理水平。
Arm AGI CPU 与 AMD EPYC 9755 实测对比
受限于硬件可用性，Arm 在测试中使用了两种 AGI CPU 配置：一种是 128 核 @ 2.8GHz 搭配 DDR5-7200 内存，用于 Terminal-Bench 2 和 SWE-bench Replay；另一种是 136 核 @ 3.2GHz 搭配 DDR5-8000 内存，用于其余五项工作负载。对比对象为单路 128 核 AMD EPYC 9755，搭配 DDR5-6400 内存。两个平台运行相同的基准脚本，但软件环境存在差异：Arm 使用自定义 Linux 7.1.3 构建，多数测试基于 Ubuntu 24.04，SWE-bench 使用 Ubuntu 26.04；AMD 主要记录配置使用 Ubuntu 24.04 和 Linux 6.8，具体设置因测试而异。
在芯片层面，Arm AGI CPU 在七项测试中的五项领先于 AMD EPYC 9755。以 EPYC 9755 为基线，Arm 在 Terminal-Bench 上领先 9%，在 SWE-bench 上领先 13%，在 fastText 上领先 97%；但在 MySQL 和 Milvus 吞吐量上分别落后 12% 和 5%。综合七个标准化性能比率，AGI CPU 的平均每芯片优势为 20%（1.20x）。
| 工作负载 | 每芯片性能比 (vs EPYC 9755) | 模拟机架性能比 (vs EPYC 9755) |
MySQL | 0.88x | 1.43x |
NGINX | 1.20x | 1.95x |
| Terminal-Bench 2 | 1.09x | 1.93x |
| SWE-bench Replay | 1.13x | 2.00x |
Milvus | 0.95x | 1.54x |
| vLLM CPU Overhead | 1.16x | 1.88x |
| fastText | 1.97x | 3.19x |
| 算术平均值 | 1.20x | 1.99x |
在机架级别，Arm 的模拟平均性能达到 AMD 的 1.99 倍，且在所有七种工作负载中均处于领先地位。该模型假设 128 核 Arm 配置的额定服务器功率为 950W，136 核版本为 1,050W，而 AMD 服务器为 1,700W（含内存及其他组件）。在扣除 24kW 机架预算中 8% 的网络和发电损耗后，同一机架可容纳 23 台或 21 台 Arm 服务器，相比之下仅能容纳 13 台 AMD 服务器。
以 SWE-bench 为例，每机架 2.00x 的性能优势是通过将约 1.13x 的芯片级结果乘以服务器数量比例（23/13）得出的。更大的收益主要源于在相同电力预算内部署更多的服务器。需指出的是，这些预测基于模拟的整机服务器功率，而非来自完全满载机架的实际吞吐量测量。
Arm 的模型还显示，AMD 服务器通常配备约两倍的 RAM（约 2TB），而 Arm 服务器为 1TB。这是基于每个硬件线程分配 4GB 内存计算的：AMD 核心支持双线程，Arm 核心支持单线程。这使得 AMD 的内存功耗约为 336W，Arm 为 192W。Signal65 还分析了当内存分配给物理核心时的情况，在此设定下，AMD 的内存和功耗配额下降，Arm 的平均机架优势从 1.99x 降至约 1.81x。2TB AMD 配置的实际效用取决于工作负载对内存的真实需求，因为超线程技术本身并不必然要求双倍内存容量。
为验证发现，Signal65 远程观察了 Arm 的测试运行，并审查了原始日志、结果文件、脚本和配置记录。独立审查小组利用自己的代码重新构建了计算过程，并在 0.5% 的误差范围内复现了全部七个结果。然而，Signal65 未在其自有实验室中进行独立的硬件重放测试。此外，Signal65 仅能独立确认 EPYC 9965 系统的 BIOS 和内存设置，无法独立验证 Arm 和 EPYC 9755 系统的相关设置。除软件差异外，这些未验证的配置差异可能对结果归因于处理器本身的确切程度产生轻微影响。
行业竞争格局与方法论分歧
尽管 Arm 主张其评估方法应成为行业标准，但目前尚未得到普遍采纳。不同厂商采用不同的性能衡量维度：AMD 推广每瓦、每美元和每机架的代理处理能力。其 EPYC 9006 系列页面的脚注指出，可用 CPU 线程数可作为代理容量的指标，但实际吞吐量取决于工作负载和系统配置。AMD 的单独工作负载分析模型针对 100kW 机架，声称 EPYC 9965 在六个基础设施工作负载的几何平均值上比 Nvidia Vera 高 2.37 倍。
Nvidia 则强调其 Vera CPU 的单线程性能和内存带宽，并表示 256 个 CPU 机架支持超过 22,500 个并发 CPU 环境。由于各厂商关注的指标（如工作量、功率假设、聚合方法）不同，直接的 CPU 比较变得复杂。目前的对比主要针对 AMD 第五代“都灵”处理器（128 核）。值得注意的是，AMD 今年已推出专为代理式 AI 设计的第六代 EPYC 9006“威尼斯家族”处理器。
