全球人工智能投资正持续攀升，据 IDC 数据预测，2025 年这一数字将突破 3000 亿美元。然而，当前企业 IT 基础设施的重心仍主要偏向于支持模型训练，其典型架构特征为大型 GPU 集群与高密度计算环境。
随着 AI 发展进入新阶段，推理（Inference）正取代训练成为主要的工作负载。支持生产级模型的规模化部署、实时响应用户及系统需求，已成为构建未来 AI 能力的关键。德勤（Deloitte）指出，推理已占据总算力的三分之二；麦肯锡（McKinsey）更预测，到 2030 年，推理将占数据中心总需求的 30% 至 40%。尽管需求明确，但现有的专用基础设施尚未完全适配这一转变。
推理并非训练的缩小版：架构逻辑的根本差异
从 IT 视角审视，训练与推理在技术需求上几乎处于两极。训练依赖数据中心内大规模集中式的 GPU 集群，通过极高的功率密度和专业高速互连，最大化单一房间内的通信效率。
相反，推理由持续的信息流和不可预测的用户需求驱动，而非预定义的工作负载。一旦请求开始涌入，系统需要依靠地理分布的计算资源来响应并扩展以应对实时需求。由于推理需全天候运行且要求毫秒级的最终用户响应速度，它依赖于通用服务器、边缘站点以及低延迟网络连接，而非孤立的数据中心吞吐量。因此，那些最适合训练的企业数据中心设计选择，往往会在大规模推理场景中产生阻碍。
两者的成本结构也截然不同。训练是一次性的资本支出事件，许多致力于优化训练开支的组织目前可能面临基础设施错配的问题。而推理则是伴随每一次用户查询、代理交互产生的循环运营成本。它如同一个不断生长的有机体，需要随决定 AI 经济未来的工作负载规模同步演进。
自主代理对基础设施提出全新挑战
自主 AI 代理的兴起进一步加剧了基础设施缺口。代理不会仅产生单次反应后停止，而是会进行规划、多步骤执行、调用外部工具、协调其他代理并在系统间传递输出。这种连锁效应显著增加了网络数据流量。随着对代理解决方案需求的增长，支撑其运行的基础设施压力也将同步上升。
Gartner 预测，到 2026 年底，40% 的企业应用程序将与特定任务的代理集成；IDC 预计，到 2027 年，代理使用量将增加十倍，代币和 API 调用量将激增数千倍。
此外，推理流量正在以传统 WAN 和数据中心网络架构难以处理的方式作为“南北向”流量的倍增器出现。麦肯锡研究发现，大多数企业当前的 WAN 无法支持 AI 数据流量模式，必须随着 AI 成为仅次于安全的基础设施投资优先级而进行升级。
突发流量是另一大架构痛点。代理工作负载并非稳定流动，而是呈暴雨式波动。单个编排事件可能同时触发数十个下游 API 调用。这导致按平均负载设计的网络在代理进行大规模协调时达到容量上限，引发延迟和可靠性问题，致使许多企业在 AI 试点迈向生产前遭遇失败。要在 AI 时代立足，企业必须从头开始构建适配的基础设施。
CPU 成为推理场景的关键算力单元
构建面向未来的推理架构需从硬件底层入手。处理器在规划、调度、工具调用协调以及定义代理工作负载的多步推理循环中至关重要。
然而，在 AI 训练热潮期间，行业对 GPU 市场的过度关注忽视了 CPU 在推理工作负载中的必要性。随着推理规模扩大，CPU 已从辅助角色转变为关键角色，充当通往编排层的主控制器。若从纯代理视角观察，高核心数的服务器 CPU 在处理此类工作负载时比 GPU 加速器更具经济性。但这并不意味着 GPU 可以被替代，推理仍需 GPU 提供算力支持。简而言之，CPU 容量往往是大多数组织未曾考虑的性能瓶颈。
计算、网络与存储的协同调整至关重要
目前，大多数 AI 用例的投资回报率并不理想。根据 Gartner 对基础设施和运营领导者的最新调查，仅有 28% 的 AI 用例完全成功并达到预期 ROI，而 20% 则彻底失败。失败的主要原因在于企业对无法承载相应工作负载的基础设施寄予了过高且过快的期望。
为避免陷入此陷阱，企业不应盲目投入无法支持的系统，而应花时间建立专门的管理资源。在生产规模下，推理要求计算、网络和存储三者协同工作：计算负责模型执行，存储确保文本、嵌入和检索数据的快速可用性，网络则决定计算与存储能否在适当的延迟时间内与外部通信。
能够尽早区分并优化这三要素的组织，将为 AI 下一阶段做好更充分准备。这将减少在生产过程中管理基础设施故障的时间，使团队能更专注于通过 AI 推理创造实际价值。
