Nvidia反驳Vera CPU为预测代理时刻而设计

Nvidia高管反驳Vera CPU专为代理设计。负责人称该观点荒谬,强调芯片基于加速器协同战略开发,旨在通过高带宽与优化微架构提升AI计算效率,而非预设未来负载。

针对外界关于 Nvidia Vera CPU 旨在预测“代理时刻”(Agentic Moment)的批评,Nvidia 数据中心 CPU 业务负责人 Ian Finder 予以了明确反驳。在近期与 Tom's Hardware Premium 于 SC26 期间的对话中,Finder 指出,认为 Nvidia 早在四年前开发 Vera 之初就已预知代理浪潮的想法是“荒谬的”。他强调,Nvidia 并非通过某种“神奇的水晶球”来设计产品,而是基于既有的公司战略记录进行开发。

Vera强调内存带宽与IPC优化

Vera 的设计理念源于 Nvidia 自首个 Grace 数据中心 CPU 以来一直推行的加速器协同代码设计方法。Finder 解释称,由于无法确切知晓未来几年的具体技术路径,专门针对代理工作负载设计芯片是不现实的。相反,团队从一个概念上相对简单的出发点开始:即需要什么样的 CPU 才能让加速器保持高效运行?

尽管起点看似简单,Finder 反复使用“有观点”(opinionated)一词来形容 Vera 的设计哲学。在更广泛的背景下,Grace 利用 Nvidia 的可扩展连贯面料引入了具有特定倾向性的内存系统,而 Vera 在此基础上进一步扩展,并增加了同样具有特定倾向性的微架构——Nvidia 的 Olympus 核心。

Finder 将 Nvidia 在此领域的做法描述为从零开始,这与 Intel 和 AMD 受制于遗留约束的情况形成对比。正如此前对 Vera 中 Olympus 架构的分析所示,Nvidia 的目标似乎并非直接从 AMD 和 Intel 手中夺取通用市场份额,而是在人工智能代理背后的加速 CPU 空间中确立地位。

这种“一张干净纸”的方法论以及协同设计理念,衍生出了一些关于 CPU 性能需求的自然假设。Finder 表示,如果应用场景需要极佳的单线程性能以及并发处理能力,那么必须依靠提升 IPC(每时钟周期指令数)而非单纯提高频率来实现。同时,还需要确保良好的加载内存延迟和高带宽,这些都是可以在全新设计基础上直接优化的要素。

虽然 Finder 明确表示 Vera 的设计并未围绕当下所见的代理场景进行预设,但他承认行业已经开始出现工具调用的趋势。“我们完全知道我们需要什么从一个头节点,也知道这个问题的整体形状。”他说道。

基准测试数据显示,Vera CPU 并非在所有工作负载上都表现卓越,这一点在与 AMD EPYC Venice 的最新对比数据中得到了体现。然而,Finder 认为,随着系统进化以更好地利用可用计算资源,Vera 优越的内存带宽将在未来发挥更大作用。

充分利用 CPU

对于行业内部分声音将需求描述为“从 GPU 转向 CPU”,Finder 认为这是不准确的。实际情况是,随着代理工作负载的推进,在以 GPU 为中心的环境中,这些循环往往无法充分利用 GPU,因为 GPU 通常在主机节点上处于过度订阅状态。解决方案并非减少或停止购买 GPU,而是配置足够多的 CPU 以充分释放计算能力。

包括 Nvidia 在内的人工智能行业正专注于解决 GPU 利用率不足的问题。当前的需求使得 GPU 不应长时间闲置。挑战在于如何在几毫秒内快速启动这些代理沙箱。

Finder 以编码代理为例说明了这一过程:在提示后,模型会调用几个小工具来读取和定位文件,然后将结果传回模型。这些调用耗时几乎可以忽略不计,大部分时间花在 GPU 上的模型推理。随后,项目进入编译和测试阶段,这部分工作更受 CPU 约束。在此期间,GPU 并未闲置,而是被用于其他任务;同理,CPU 也在处理其擅长的部分。

(图片来源:Nvidia)

“我们不能只是说 CPU 在这里可以放松等待,这不会发生。”Finder 表示,“我们将把多个环境打包在一起,我们将订阅插座。”

Finder 将这一挑战描述为“非常有趣的计算机科学问题”,目前 Daytona 和 E2B 等 AI 初创公司正在对此进行研究。服务更多的代理会给内存系统带来压力,而这正是 Vera 的优势所在。Nvidia 打造该产品时并未针对特定优化,但将其作为一个设计点,以便当行业开始追赶时能够应对。

无论外界如何看待 Vera,或在营销材料中如何呈现它,这都是一颗迷人的芯片。作为 Grace 的内部演进版本,Vera 已成为 CPU 领域的重要参与者。Nvidia 已宣布后续产品 RosaCPU 将采用新的 Rigel 微架构。Vera 确实是一款“有观点”的 CPU,其设计的正确性最终将由时间来验证。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读