AMD收购Mext推AI内存分层,省500万DRAM成本

AMD收购Mext推出AI内存分层技术,利用机器学习预测访问模式,将冷数据卸载至NVMe闪存。该方案声称在特定负载下可保留99%性能,已帮助客户节省约500万美元DRAM成本。

AMD 通过收购 Mext 技术,推出了一种旨在大幅降低服务器 DRAM 成本的内存管理方案。该方案利用人工智能预测内存访问模式,将不常用的数据页透明地卸载至 NVMe 闪存中,声称在特定工作负载下可提供高达 99% 的性能。

AI预测预取,闪存变DRAM

Mext 技术的核心逻辑类似于操作系统中的 Swap 或 Windows 页面文件机制,但在调度策略上更为激进和智能。据 AMD 商业开发副总裁、Mext 前首席执行官 Gary Smerdon 介绍,该技术于 2024 年 6 月被 AMD 收购。其目标是通过用低成本的闪存替代昂贵的 RDIMM 内存来优化成本结构。Smerdon 估计,采用该技术的客户已节省了约 500 万美元的 DRAM 成本。

基于 AI 预测的内存分层

Smerdon 指出,在大型存储系统中,存储硬件往往占据服务器总成本的 60% 到 90%。即便在内存利用率看似很高的系统中,实际热数据的比例也远低于预期。他引用 Meta 的研究论文称,在标记为“使用中”的内存页面里,有 50% 到 80% 的页面在 5 分钟、10 分钟甚至更长的时间内未被触及。对于 Epyc 处理器而言,五分钟是一段漫长的时间。

闪存与 DRAM 存在显著的性能差异:闪存每位的成本可能便宜 50 倍,功耗低 30 倍,但速度却慢 500 倍。传统上,为了避免性能骤降和服务级别协议(SLA)违约,用户在配置 VPC 或服务器时极力避免交换到磁盘。Mext 技术的突破在于确保被卸载到闪存的页面能在需要之前重新加载回 DRAM。

由于 DRAM 中的“R”代表随机访问,预测系统何时需要哪些页面极具挑战性。AMD 解决方案是引入机器学习算法进行主动监控和预取。Smerdon 表示:“我们使用人工智能监控系统并主动将这些页面推回 DRAM。换句话说,我们透明地让闪存看起来像 DRAM。”

该模型基于 Transformer 架构衍生而来,类似于 ChatGPT 或 Claude 等知名大语言模型的基础架构。值得注意的是,预取的数据页无需保持严格的顺序,只要它们在 CPU 请求前回到 DRAM 即可。训练过程并不依赖 GPU,仅需一个 Epyc 核心且耗时不到一秒即可完成初始训练,随后模型会随着运行时间的推移不断自我改进和重新训练。

性能权衡与应用场景

尽管 AMD 宣传该技术在理想情况下能维持极高性能,但实际效果取决于应用程序类型及卸载至闪存的内存比例。Smerdon 承认,在某些场景下性能会受到损害。

根据对 Synopsys PrimeTime EDA 套件的测试数据显示,当 75% 的内存被卸载到闪存,仅保留 25% 在 DRAM 中时,性能降至纯 DRAM 基线的 80%。然而,在 Apache Spark 等场景中,即使替换了系统中一半的 DRAM,性能损失依然可控。AMD 认为,鉴于当前 AI 数据中心建设导致内存供应紧张,客户愿意以少量的性能妥协换取显著的 DRAM 成本节省。

目前,Mext 技术主要面向电子设计自动化(EDA)、内容创建以及数据库和代理式 AI 管道等延迟敏感型应用。在虚拟化环境中,软件可能需要每个 VM 或 VPC 占用一个 CPU 核心用于处理开销,而容器环境可能不受此限制,具体细节有待进一步披露。

商业化进展

AMD 正致力于将 Mext 整合进其企业级产品组合,该软件将作为 AMD 硬件的独家功能提供。对于 Linux 用户,只需安装内核驱动程序即可启用该技术。此外,AMD 提供了名为 RAM View 的应用程序,帮助企业分析并确定适合启用该功能的系统和工作负载。

Mext 的推广分为两个阶段。第一阶段是与 HPE 等 OEM 厂商合作,确保系统具备“Mext 准备”状态。第二阶段将开始销售软件许可证,并提供预装 RAM View 应用的 Epyc 平台。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读