Google发布TPU 8tx与8i Max，强化机密计算与长文本代理

人工智能 2026-11-12 11:00 13 阅读来源： Toms Hardware

Google扩展第八代TPU产品线，新增8tx与8i Max两款芯片。前者面向机密计算，后者通过双芯封装提升长文本代理算力，旨在缓解内存墙并提高机架密度。

Google 扩展第八代 TPU 家族：推出面向机密计算的 8tx 与长文本代理专用的 8i Max

Google 近日宣布进一步扩展其第八代张量处理单元（TPU）产品线。继去年 4 月发布用于 AI 模型训练的 TPU 8t 和通用推理工作负载的 TPU 8i 之后，该公司推出了两款新芯片：TPU 8tx 和 TPU 8i Max。

TPU 8tx 基于与 TPU 8t 相同的硅片，但针对受监管企业和政府部门的机密推理及小规模训练进行了优化，具备硬件隔离特性。TPU 8i Max 则将两个 TPU 8i 芯片封装在一起，旨在处理长上下文代理任务。

照片来源：Google

产品定位与规格对比

原有的 TPU 8t 专注于大规模预训练，而 TPU 8i 则侧重于低延迟推理。随着 TPU 业务的增长——Google 声称目前拥有近 100 名客户，包括近期转向使用 TPU 的 Meta——公司采用了更模块化的策略，以便在数月而非数年内提供专用系统。

	TPU 8t	TPU 8i	TPU 8tx	TPU 8i Max
专为	大规模的预培训	采样，供应和推理	安全的，保密的推断；没有任何证据表明它是安全的。小规模培训	长文本代理工作
Silicon	TPU 8t	TPU 8i	与 TPU 8t 相同的	两个 TPU8i 芯片在一个包装上
主机 CPU	手臂的动力	手臂的动力	第五代 AMD EPYC	没有说明
Network	三维体	板	板	没有说明
峰值 FP4 的 PFLOPS	12.6	10.1	没有说明	大约 20.2 (衍生)
HBM 带宽 (GB/s)	6,528	8,601	没有说明	大约 17,202 (衍生)
HBM 的容量 (GB)	216	288	没有说明	没有说明
在芯片上的 SRAM (MB)	128	384	没有说明	768 (衍生产品)
可用性	很快就来了	很快就来了	很快就来了	很快就来了

TPU 8i Max：提升密度以应对“内存墙”

从表面看，TPU 8i Max 并未采用全新的架构创新，而是将两个 TPU 8i 芯片组合成单一封装。这一设计使得理论计算能力翻倍，更重要的是，它在现有的机架足迹内实现了双倍算力，从而提高了每平方英尺和每瓦的计算效率。

通过加倍 SRAM 和 HBM 带宽，8i Max 达到了约 20.2 FP4 PFLOPS 的计算性能、768 MB 的片上 SRAM 以及约 17.2 TB/s 的 HBM 带宽。作为对比，Nvidia 的 Rubin R200 GPU 推理速度为 50 FP4 PFLOPS，每个插座的 HBM4 带宽为 22 TB/s；AMD 的 MI455X 则为 40 FP4 PFLOPS。尽管仍有差距，但竞争正在缩小。

存储带宽的提升有助于缓解“内存墙”问题，即当数十个 AI 代理在整个代码库中协同工作时面临的带宽瓶颈。对于拥有百万 token 上下文窗口的大模型，KV 缓存规模巨大且部分存储在 SRAM 中，每个新 token 都需要从内存读取缓存，额外的 HBM 带宽在此场景下至关重要。这与 Nvidia 的 LPX 方案不同，后者通过第二种芯片类型提供解码带宽，并通过存储层处理上下文。

软件方面，Google 推出了开源工具 TPU Sync，用于管理 TPU 集群中的模型状态。它可以将 KV 缓存从芯片 HBM 移至主机 DRAM 或共享存储，声称能将 KV 传输延迟降低 90% 以上。此外，Google 还发布了代理计算引擎云服务，允许暂停代理会话并将工作内存移出，直到再次需要时恢复。

关于性能基准，Google 声称其 vLLM-TorchTPU 堆栈在 InferenceX 和 AgentX 测试中具有领先的性价比。然而，目前公开的唯一第三方数据来自上一代 Ironwood TPU。根据 SemiAnalysis 9 月的测试，Ironwood 在 FP8 精度下运行 Qwen3.5 397B 模型时，每美元交付的 token 数量比 Nvidia B200 多 50.4%，比 B300 多 96.0%。尽管 Ironwood 缺乏本地 FP4 支持，但最新数据显示其 FP8 性能在相同模型上是 Nvidia FP4 GB300 NVL72 的 1.67 倍。第八代产品的具体基准测试结果尚未公布。

TPU 8tx：硬件级安全隔离与网络优化

与主打长任务的 8i Max 不同，TPU 8tx 基于 TPU 8t 硅片，专为安全性和机密性优先的场景设计，如受监管企业和政府机构。该芯片通过硬件隔离防止敏感数据（包括模型权重）泄露。通常情况下，数据处理过程中内存中的数据需解密，而硬件隔离旨在覆盖这一环节。

此类芯片适用于需要在不移动敏感数据的情况下进行模型微调、蒸馏或代理训练的场景。据报道，五角大楼已与 Google 就在机密环境中使用 TPU 展开讨论。根据 9 月的技术简报，Google 的“硬化 TPU 平台”保护机制类似于典型的可信执行环境（TEE），已在 TPU 上运行机密服务。8tx 似乎是这一能力的商业化产品。相比之下，Nvidia 的 NVL72 在 72 个 Rubin GPU、36 个 Vera CPU 和互连中建立了一个安全域，Intel 的 TDX 则通过添加可信 I/O 来保护向加速器传输的数据。

在主机配置上，TPU 8tx 放弃了 TPU 8t 上的 Arm Axion 主机，转而采用第 5 代 AMD EPYC 处理器。此前，TPU 8i 每两个芯片配一个 Axion，而 Ironwood 每四个芯片配一个 Xeon。Google 未解释更换原因，但其机密虚拟机配置列表包含 AMD 和 Intel 芯片，未列出 Arm 芯片。鉴于 Google 私有人工智能计算已使用基于 AMD 的硬件可信执行环境，此次切换可能是为了复用现有的机密堆栈。

网络方面，8tx 采用了 TPU 8i 的 Boardfly 网络，而非 TPU 8t 的 torus 网络。Google 声称，与 TPU 8t 相比，Boardfly 可实现最高 2 倍的延迟降低，且几乎不牺牲性能。Torus 网络更适合训练，因为芯片间主要以可预测的方式交换数据；但在运行大型混合专家模型和推理模型时，需要在相距较远的芯片间发送小消息，每一跳都会增加延迟。在 1,024 个芯片的规模下，Boardfly 网络的最大跳数为 7 次，而传统方案需 16 次。