自 2020 年以来，人工智能领域的发展重心主要在于训练规模更大、性能更强的模型。大语言模型（LLM）的参数规模从数百万级迅速膨胀至数万亿级。这一策略成效显著：OpenAI 于 2020 年发布的 GPT-3 在一项热门的知识与推理基准测试中仅正确回答了 43.9% 的问题；而仅仅四年后，GPT-4o 在同一测试中的得分已攀升至 88.7%，接近人类专家水平。
尽管前沿 AI 实验室仍在继续培养大规模模型，但到了 2026 年，行业焦点已从“训练”转向“推断”，即利用已训练好的模型执行代码编写等任务。Moor Insights & Strategy 首席数据中心分析师 Matt Kimball 指出：“这就像训练是昨天的新闻。”如今，首席信息官们更关注的是推断效率。Nvidia 首席执行官 Jensen Huang 在 GTC 2026 会议上更是将这一转变称为“推断的转折点”。
这种转变背后的逻辑很直接：LLM 变得实用，用户开始频繁使用它们。当前市场上的许多模型均为推理模型，为了响应用户查询，它们会通过“思维链”过程多次重启自身进行推断，而非单次运行。高推理强度的模型生成的文本长度可达普通模型的 20 倍。与此同时，代理型 AI（Agentic AI）的兴起使得推断不仅限于实时响应，还能全天候自主运行以达成用户目标，导致全球推断工作量激增。
面对爆发式的推断需求，科技巨头间出现了意想不到的合作联盟。尽管 Amazon 拥有自研的 Trainium 芯片，但其与 OpenAI 均部署了由 Cerebras 设计的餐盘大小芯片。此外，Nvidia 斥资 200 亿美元从 AI 推断初创公司 Groq 收购关键人才和知识产权；Anthropic 则每月向竞争对手 SpaceXAI 支付超过 10 亿美元。
虽然看似相似，但 AI 训练与 AI 推断在计算特性上截然不同。支持庞大的推断需求，需要一种与几年前预期完全不同的硬件组合。
AI 推断与 AI 训练的计算差异
未训练的模型如同散落在桌上的 Scrabble 字母块，虽包含所有字符，却毫无意义。训练过程类似于一个大规模的猜谜游戏：模型观察被遮盖的下一个标记，并预测其内容。每次猜测后，正确答案揭示，模型通过反向传播更新参数，调整数十亿甚至数万亿个权重以提升预测准确性。这一过程消耗巨大的计算资源，这也是科技巨头建造超大型数据中心的原因。
当开发者认为进一步训练不再值得时，反向传播停止，参数固化，LLM 成为预训练模型。经过微调后，模型被部署进入推断阶段。此时，模型已学会按合理顺序输出内容。
许多人误以为推断计算量较小，因为省去了更新参数的反向传播。然而，d-Matrix 创始人兼首席技术官 Sudeep Bhoja 指出，推断带来了新的挑战。LLM 本质上是“自回归”的，即下一个输出取决于前一个输出。生成每个新标记都需要读取前一个标记的所有权重及上下文（包括提示、回复和上传文件），这需要处理大量数据。
LLM 生成答案分为两个阶段：预填充和解码。预填充阶段，模型并行处理提示中的所有标记，计算彼此间的关系（注意力机制）。这是 Transformer 架构的核心特征，允许模型在句子或段落层面理解语境。此阶段高度并行，因此 GPU 成为主流加速器。
解码阶段则是逐标记生成回复。每一步，模型需结合最新标记与 KV 缓存（存储键和值向量以减少重复计算）中的所有内容进行权衡，预测下一个标记并将其加入缓存。由于必须从内存中读取整个模型（可能包含几十到几百 GB 的参数）以及 KV 缓存，数据移动所需的带宽往往超过了计算本身的需求。研究显示，运行开源 LLM 的 Nvidia H100 GPU 有 50% 到 80% 的时间处于空闲状态，等待数据传输。
内存瓶颈与解决方案
Majestic Labs 联合创始人 Shahriar Rabii 表示，许多致力于提升 AI 推理性能的公司正聚焦于解决内存瓶颈。传统的基于 GPU 的方法往往过度配置计算单元，而受限于内存带宽，导致大规模性能损失。
d-Matrix 和 Majestic Labs 提出了不同的架构思路。d-Matrix 的第二代加速器 Raptor 旨在缩短计算与内存之间的距离。传统 GPU 依赖高带宽内存（HBM），这是一种堆叠的 DRAM 模块，通过超快接口连接。但对于推断而言，HBM 的容量和带宽扩展存在物理限制。
d-Matrix 的堆栈架构
d-Matrix 采用垂直堆叠技术，将计算芯片直接堆叠在 DRAM 模块之上，从而在相同物理足迹内实现更高密度，类似摩天大楼的建设理念。
Majestic Labs 则采取了相反的策略：不追求极短距离，而是改进内存接口以适应更长的线路痕迹，同时保持高带宽。Rabii 解释称，HBM 通常只能在 2-3 毫米范围内有效工作，而 Majestic 的专有铜链和内存聚合器芯片可将传输距离扩展至约一米。这使得单个服务器机架可支持多达 128TB 的商品化 DRAM，远超 Nvidia GB300 NVL72 机架约 20TB 的 HBM3E 容量。
Majestic Labs 的内存聚合架构
d-Matrix 和 Majestic 的共同点在于都使用现成的 DRAM 而非昂贵的 HBM。内存分析师 Jim Handy 指出，HBM 成本是 DRAM 的两到三倍。不过，Samsung 和 SK Hynix 等厂商仍在推进 HBM4 技术，预计将于 2026 年下半年随 Nvidia Vera Rubin GPU 出货。SK Hynix 内存系统研究负责人 Hoshik Kim 表示，HBM4 将通过加倍最大内存带宽和增加每堆内存数量来打破推断瓶颈。
异构芯片协同加速推断
Nvidia 和 Amazon 正在采取“全筹码”策略，结合不同优势的芯片。Nvidia 的 GPU 和 Amazon 的 Trainium 擅长处理预填充阶段的密集计算，而在解码阶段，它们引入了专注于内存的新架构。
Nvidia 收购 Groq 后，推出了 Groq 3 语言处理单元（LPU）。Groq 架构直接将 SRAM 嵌入芯片内部。虽然 SRAM 密度低且昂贵，但它能紧密集成计算核心。Nvidia 高性能计算副总裁 Ian Buck 介绍，LPU 的原始算力低于标准 GPU，但拥有 500MB 直接连接浮点运算单元的 SRAM，其内存带宽是 GPU 的七倍。
在 Nvidia 的方案中，Vera Rubin GPU 负责注意力数学和上下文处理，而 Groq LPU 负责矩阵乘法等专家计算。公司将 256 个 LPU 打包进 Groq 3 LPX 系统中。
Nvidia 的双芯片推理方法
Amazon Web Services (AWS) 则与 Cerebras 达成协议，结合 Trainium 加速器和 Cerebras 的 Wafer-Scale Engine 3 (WSE-3)。Cerebras 将整个晶圆制成单一芯片，包含超过 4 万亿晶体管，并将 44GB SRAM 刻入晶圆，无需外部存储器即可支持 400 亿至 800 亿参数的模型。
AWS 计划用 Trainium 处理预填充，Cerebras 处理解码。值得注意的是，Cerebras 芯片也可独立运行推断。例如，OpenAI 使用 WSE-3 为 GPT-5.3-Codex-Spark 提供动力，该编码模式每秒输出超过 1,000 个标记，远高于标准 GPT-5.4 的 50-125 个标记/秒。
Amazon Web Services 双芯片推断策略
Cerebras 还可通过联网多个 WSE-3 芯片形成统一存储池来处理预填充，已证明可为高达 1T 参数的模型（如 Moonshot AI 的 Kimi 2.6）提供服务。Ian Buck 总结道：“要做现代 AI 推断，你需要所有的芯片。”
软件优化：用更少的比特做更多的事
除了硬件创新，研究人员也在优化软件以提高资源利用率。大多数计算机以 32 位或 64 位格式存储数字，精度越高，占用的内存空间和能耗越大。Tensordyne 联合创始人 Gilles Backhus 指出，模型大小与数字精度之间存在张力：一个尺寸两倍但运行在 4 位的模型，可能在内存和计算效率上与一个尺寸减半但运行在 8 位的模型相当。
量化技术——将高精度数字转换为低精度格式——已被广泛应用。Nvidia 最近推出了 NVFP4 格式，AMD、Intel 和 Qualcomm 则围绕 MXFP4 展开竞争。Nvidia 声称，将 DeepSeek-R1 从 FP8 量化至 NVFP4 时，七大基准测试分数下降不到 1%，但性能提升了三倍。
Tensordyne 在其 Napier 芯片中采用了对数格式，利用对数性质将乘法转化为加法，从而降低功耗和电路面积。据称，其机架级硬件可实现每秒每用户 1,300 个标记的输出。
初创公司 Etched 则设计了专用 ASIC 加速器 Sohu，将 Transformer 架构直接固化在芯片中。虽然灵活性受限，无法运行非典型 Transformer 模型，但在运行 Meta 的 Llama 70B 模型时，速度可达惊人的 500,000 tokens/秒。Etched 已于 8 月出货首台机架，Tensordyne 预计其硬件将于 2027 年上市。
推断时代的到来
无论是内存堆叠、长距离接口、晶圆级 SRAM 还是 4 位量化，各种技术路线正在竞相发展。专家普遍认为，目前不存在单一的赢家，因为市场对 AI 的需求尚未饱和。
Matt Kimball 认为，推断将在长期内推动强烈的硬件需求。“你可以在组织中增加一百万名代理，它们一天 24 小时工作，不像人类那样朝九晚五。”如果 AI 推断持续保持高需求，其演进轨迹可能类似于 CPU 的历史：并非沿单一轴线改进，而是在晶体管缩放放缓后，通过芯片和系统架构的多维度创新共同推动发展。未来几十年回顾这段历史时，AI 推断的创新深度将与个人计算的普及历程相媲美。
