AMD部署MEXT引擎:AI预测内存访问,25%物理DRAM保持99%性能

AMD部署MEXT引擎,利用AI预测内存访问。该技术将冷数据卸载至闪存并预取回内存,声称仅用25%物理DRAM即可保持99%性能。目前已在内部145台服务器落地,并与HPE合作推向市场。

2024 年 6 月,AMD 披露了其内部部署 MEXT(Predictive Memory Engine)的进展。该引擎旨在通过人工智能预测内存访问模式,声称在仅使用 25% 物理 DIMM 的情况下,仍能保持系统 99% 以上的全 DRAM 容量性能。其核心机制是将“冷”存储页面卸载至闪存,并利用 AI 模型在数据被调用前将其预取回内存。

25%物理DRAM保持99%性能

MEXT 由创始人 Gary Smerdon 开发。根据 AMD 与 Smerdon 的说法,该技术可根据具体应用程序及性能目标,将服务器所需的物理 DRAM 减少 20% 至 75%。尽管部分内存未以传统方式安装,但 MEXT 仍将其注册为已安装的 DRAM。系统利用相对廉价的闪存存储冷数据,并通过 AI 模型实现数据的快速回迁。在 AMD 内部运行的 Synopsys PrimeTime 等工作负载测试中,该公司表示在使用 MEXT 运行 50% DRAM 容量时,可达到全服务器 95% 的性能表现。

目前,AMD 已在内部 145 台服务器上部署了 MEXT,并计划明年将规模扩大至 2,000 台。此外,AMD 宣布与 HPE 合作,面向客户推出该技术。现阶段处于推广的第一阶段,部分 EPYC Venice 服务器带有“MEXT Ready”标识,并配备专用的 NVMe 驱动器或插槽用于数据卸载。第二阶段将提供 MEXT 许可证及 RAM View 应用程序,但 AMD 尚未公布具体的启动时间。

受 AI 需求驱动,DRAM 价格大幅上涨,不仅影响游戏 PC,也给企业用户带来沉重的成本压力,即便这些企业并未直接运行 AI 工作负载。若 MEXT 能实现 AMD 所宣称的目标,在当前市场环境下或将具有变革性意义。

技术原理:DRAM、闪存与 LLM

照片来源:AMD

MEXT 的基本架构概念简单:将冷页面存入闪存,并由 AI 按需调回。主要挑战在于闪存速度远低于 DRAM,实时从闪存读取数据无法满足性能需求。MEXT 的解决方案是利用 AI 模型预测所需页面。只要模型的预测领先于 SSD 传输延迟,即可模拟出物理 DRAM 始终可用的效果。

这一机制基于 Transformer 架构的大语言模型(LLM)。与传统 LLM 预测下一个 Token(单词或子词不同),MEXT 预测的是下一个需要访问的内存页面。这种基于序列预测的技术并非凭空想象,而是利用了现代 AI 模型的核心能力。

照片来源:AMD

MEXT 创始人 Gary Smerdon 指出,AI 是该技术的核心差异点。MEXT 以 Linux 内核模块形式部署,兼容任何 Linux 发行版。它使用一组基于 Transformer 的 LLM 驱动技术,且无需预先训练。相反,MEXT 在首次部署时不到一秒即可完成初始训练,并在无 GPU 的 EPYC 核心上运行,随着工作负载增长持续进行在线学习。这种方法使其能够适应不同的应用访问模式,从而优化预测引擎。

虽然 MEXT 并非完美,但它不需要在所有情况下都做到极致。例如,对于文本生成,LLM 必须按正确顺序预测 Token;而对于内存管理,只要页面在需要时位于 DRAM 中即可,恢复顺序并不关键。

为了评估 MEXT 在不同负载下的适用性,AMD 开发了配套工具 RAM View。该工具可显示内存页面的冷热状态。示例数据显示,在一个拥有 1.5TB 内存的系统中,虽然整体内存占用率高,但在任意给定时间点,约有一半存储在内存中的页面超过五分钟未被访问。这为将冷数据卸载至闪存提供了空间。

(图片来源:AMD)

AMD 最初将 MEXT 应用于内部关键 EDA 软件如 Synopsys PrimeTime,目前正扩展至代理式 AI、数据库以及媒体娱乐等工作负载。由于不同应用的内存访问模式各异,且对内存不足的反应也不同,MEXT 试图通过预测机制缓解“内存墙”问题。AMD 认为,许多工作负载可减少约 20% 至 25% 的 DRAM 容量而不显著影响性能,但随着削减比例增加,性能下降幅度会因应用专业化程度而加大。

AMD 内部测试结果

(图片来源:AMD)

尽管第一方基准测试通常需持谨慎态度,但 AMD 提供的数据显示了潜在收益。在 Synopsys PrimeTime 应用中,AMD 称运行在 50% DRAM 容量的服务器保留了全配置服务器 95% 的性能。

照片来源:AMD

大型设计任务对内存需求巨大。AMD 表示,在某些应用中性能几乎无损。在第 5 代 EPYC CPU 驱动的 Azure 三节点集群中,运行 Spark SQL TPC-DS 基准测试时,MEXT 在仅使用 50% DRAM 容量的情况下,实现了全集群 99% 的性能。SQL 数据库通常依赖大量内存缓存以避免 I/O 瓶颈,这一结果尤为引人注目。

照片来源:AMD

代理式 AI(Agentic AI)可能是目前最适合 MEXT 的工作负载之一。AMD 声称,在五个并发代理的几何平均值测试中,使用 50% 内存容量的服务器达到了完整配置的 99% 性能,而使用 25% 容量时仍有 85% 的性能。在“内存饥饿”场景下,50% 和 25% 容量分别对应 90% 和 88% 的性能保留率。

值得注意的是,AMD 在推出 MEXT 时采取了保守策略。目前该技术仅限 EPYC 平台,虽未来可能支持包括 Strix Halo 在内的消费级设备,但暂无时间表。MEXT 将以许可证形式出售,并与 RAM View 软件捆绑。尽管与 HPE 合作推出了“MEXT Ready”服务器,但外界尚不清楚何时能在非 AMD 环境中广泛部署。

鉴于这种谨慎态度,可能存在未被公开的技术局限。很难想象 MEXT 能普遍适用于所有服务器,尤其是在达到 AMD 基准测试中展示的 50% 甚至 25% DRAM 容量削减水平时。然而,即便只能削减 25% 的服务器 DRAM 容量,在当前供应紧张的环境下也能显著降低成本。若某些特定负载能实现 50% 的削减,其价值将进一步放大。如果 AMD 的数据属实,MEXT 有望成为定义下一代数据中心效率的关键技术。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读