Google 的张量处理单元 (TPU) 及其定制 AI 芯片现已进入 Meta 的生产环境。这一进展得益于 SGLang 推理引擎的 PyTorch 原生版本，该版本由 Google、Meta 与 RadixArk（SGLang 创始人创立的初创公司）三方密切合作开发。与此同时，另一个广泛使用的推理引擎 vLLM 的对应 PyTorch 支持版本也已开源发布。
此前，这两个引擎主要依赖 Google 自家的 JAX AI 框架在 TPU 上运行。新推出的 TorchTPU 方案使 TPU 硬件成为 PyTorch 的原生选项，大幅降低了代码重写的需求。Meta 的 PyTorch-TPU 负责人伟周表示，PySGLang-TorchTPU 已在 Meta 开始生产部署，为该公司提供了成熟的 PyTorch 原生服务堆栈。
- 数据中心的冷却状态
- 定制 AI ASIC 的现状
- 美国的人工智能芯片规则不断变化，世界其他国家正在为此付出代价。
- 2026 年 GTC:伊恩·巴克新闻问答转录 Hyperscale 和 HPC 的副总裁谈到今年的 CPX 和 LPU 解码
- 数据中心 CPU 的需求激增，人工智能代理负责
Meta 的 PyTorch 工程主任 Jana van Greunen 指出，Meta “不能被单一的硬件架构所限制”，而 TorchTPU 使得将 PyTorch 工作负载部署到 Google TPU 成为可能。Google 确认其与 Meta 的 PyTorch 团队共同开发了这一工具。
这并非 Meta 首次尝试使用 TPU。谷歌将旧的 PyTorch/XLA 桥梁称为全新 TorchTPU 的“前身”。据 SemiAnalysis 报道，Meta 的研究团队曾在 2020 年至 2023 年间通过该桥梁使用 TPU，随后取消了相关合同。谷歌推动 TPU 上的 PyTorch 支持主要针对不愿迁移至 JAX 的 Meta。
关于 Meta 生产环境中 TPU 的具体位置目前尚不清楚。据报道，去年的谈判涉及 2026 年租赁 Google 云 TPU 并于 2027 年购买，后续消息显示 Meta 签署了多年租赁协议。行业分析指出，Meta 作为 TPU 客户并拥有大量在 TPU 上工作的工程师，这一动向对 Nvidia 的 CUDA 生态护城河构成挑战。
在同一场 PyTorch 会议上，Amazon 宣布开源 TorchNeuron，为其 Trainium2 和 Trainium3 芯片提供 PyTorch 后端支持。这些举措旨在缓解对 Nvidia 软件生态的锁定效应。
在性能测试方面，Inferact（vLLM 创始人创立的初创公司）数据显示，针对 Moonshot AI 开放权重的 2.8 万亿参数 Kimi K3 模型，调整后的 vLLM 设置在第七代 Ironwood TPU 上实现了单用户每秒超过 700 个代币的速度。该测试使用了 16 个配备投机解码技术的 Ironwood 芯片，相比之下，vLLM 在 16 个 Nvidia GB200 上的配置达到每秒 452 个代币。此外，Kimi K3 和 Qwen 3.8 27B 的内核在小批量场景下，无需猜测解码即可提供约为 GB200 基线吞吐量 1.4 到 2 倍的性能。
SGLang-TorchTPU 计划继续扩展模型支持，首批包括 DeepSeek V4.1 闪光和反射束。RadixArk 透露，该引擎还将为新的开放型号提供“0 日”TPU 支持，即在 2027 年第一季度发布时同步提供支持。Google、Meta 和 RadixArk 计划在 2026 年 11 月于旧金山举行的 SGLang 峰会上分享更多细节。
