在刚刚结束的 Open Compute Project (OCP) 全球峰会上,Cisco 与 Nvidia 联合宣布了一项旨在简化 AI 数据中心布线的新标准——超密集小型可插拔模块(USFP)。该模块承诺在保持与现有 OSFP 模块大致相同尺寸的前提下,将单个端口的带宽提升至现有技术的四到八倍。

根据规范,USFP 模块在一个可插拔器件中集成了多达 32 条 400 Gbps 通道,从而提供高达 12.8 Tbps 的以太网带宽。这一数据相当于几年前高端企业交换机的整体水平。作为对比,目前业界最先进的可插拔光模块通过八条 200 Gbps 链路实现约 1.6 Tbps 的上限。
这种高带宽密度有望显著优化 AI 集群的物理架构。在当前配置下,每个 GPU 通常配备一个 800 Gbps(即将升级至 1.6 Tbps)的网络接口卡(NIC)。单个 USFP 模块即可整合八个 GPU 所需的连接线路为一束光纤。在交换机侧,未来的 204.8 Tbps 交换机仅需 16 个 USFP 端口即可支持 128 个 1.6 Tbps 端点。
然而,在单一可插拔器件内实现如此高的集成度面临巨大挑战。目前高端可插拔光模块功耗约为 20 瓦特,而 Cisco 制定的 USFP 规范要求单模块功耗高达 100 瓦特。此外,链路数量增加四倍意味着电气触点数量也需相应增加,对定位精度提出了极高要求。为此,Cisco 表示 USFP 模块将采用两阶段插入机制:首先将模块插入笼体,随后启动第二机制以建立电气连接。
可靠性也是设计中的关键考量。由于 USFP 承载了更多流量,单个激光器或数字信号处理器 (DSP) 的故障可能导致远超单个 GPU 的系统性中断。尽管风险较高,但相比 Co-Packaged Optics (CPO) 或近封装光学方案,其影响范围仍较小,后者一旦故障可能导致整个机架的加速器脱离网络。
Nvidia 参与 USFP 标准的开发颇具深意。这家以太网网络巨头在其最新一代 Spectrum-X 和 Quantum-X 交换机中已大幅转向非可插拔的 CPO 方案,主要动力在于取消交换机侧的可插拔器件可节省约 30% 的功耗。尽管如此,Nvidia 的 NIC 依然依赖可插拔器件,这为系统集成商提供了灵活性,毕竟并非所有场景都需要构建超过 100,000 个 GPU 的训练集群。对于采用 Top of Rack 交换机的机架,低功耗的直接连接铜缆仍是可行选择。
鉴于 Nvidia 在 CPO 领域的投入,其对 USFP 的兴趣可能主要源于密度提升的需求。随着 Nvidia 迈向容纳 144 个 GPU、功率达 600 kW 的机架时代,早在 2025 年初亮相的 Vera Rubin Ultra 平台就承诺每机架提供 115.2 TB/s 的 Scale-out 带宽,即每个 GPU 封装约 3.2-6.4 Tbps 的带宽。巧合的是,Cisco 最初的 USFP 规范规定每个可插拔器件包含 16 条 400 Gbps 链路,即约 6.4 Tbps 的带宽,这与 Nvidia 的目标高度契合。
虽然由 Cisco 和 Nvidia 引领,但 USFP 将作为一个开放标准发布,允许任何厂商在其设计中使用。此外,Cisco 还透露 Microsoft 已开始使用其 Silicon One P200 路由芯片在多数据中心之间分配工作负载,Nvidia 及其他厂商也在跟进相关技术应用。





