VAST模拟显示RAID重建风险高,擦除编码降丢失率

VAST在SC26公布模拟数据,显示主流RAID架构下900PB系统十年内数据丢失概率高达十一分之一。研究指出大容量驱动器重建风险剧增,采用全系统擦除编码可将该概率降至数千万分之一。

并行文件系统 RAID 的可靠性危机与 VAST 的擦除编码方案

在超级计算大会 SC26 上,存储厂商 VAST Data 展示了一项针对 900PB 规模系统的模拟研究。数据显示,在当前主流的并行文件系统 RAID 架构下,10 年内发生数据丢失的概率高达十一分之一。VAST 首席技术策略师格伦·洛克伍德(Glenn Lockwood)指出,随着驱动器容量不断增大,传统 RAID 重建机制正面临严峻挑战。

10年数据丢失率十一分之一

大容量驱动器的功耗优势与重建风险

尽管大容量驱动器在故障后需要更长的重建时间,从而增加了二次故障导致数据丢失的风险,但数据中心运营商仍不得不采用这些驱动器。主要原因在于电力限制:存储功耗主要与带宽相关,而非单纯的容量。

洛克伍德通过对比分析了不同容量 SSD 的能效表现:

  • 15TB SSD 方案:构建 900PB 系统需超过 63,000 块驱动器。每台 SSD 功耗约 28W(含基础设施分摊),加上每 GB/s 带宽 20W 的开销,总功耗达 5.6MW,可提供 190TB/s 带宽。这一功耗相当于约 3,100 个 Blackwell Ultra GPU 的能耗。然而,洛克伍德强调,在实际 AI 应用中,极少有场景需要接近此级别的存储性能。
  • 122TB SSD 方案:仅需约 8,000 块驱动器即可达到相同容量,总带宽降至 8TB/s,但功耗仅为前者的十分之一,约 400kW。在此功耗预算下,15TB SSD 仅能支持 250PB 容量。

目前,245TB 级驱动器已面世,未来还将出现更大容量的产品。虽然大驱动器存在“爆炸半径”大的问题——例如在相同速度下,122TB 驱动器的重建时间是 60TB 驱动器的两倍——但在每代驱动器性能提升有限的情况下,这是必须面对的现实。

主流 RAID 方案的可靠性模拟

VAST 使用基于真实故障数据的离散事件模拟,评估了包含 7,920 块 122TB SSD、分布在 180 个机箱(每箱 44 盘)中的系统在不同保护方案下的数据丢失概率。结果如下:

保护方案 典型用户/实现 模拟驱动器大小 10 年内数据丢失几率
单奇偶校验 (RAID 5) 目前已无人使用 122TB 100%
双奇偶校验 (RAID 6) Lustre, BeeGFS 等开源文件系统 122TB 1/150
封装内分散式 RAID DDN EXAScaler, HPE Cray ClusterStor PB 级 1/11
全系统擦除编码 + 额外奇偶校验 VAST 建议的最低标准 TB 级 1/54,000,000
VAST 专有方案 VAST Data TB 级 1/62,000,000,000

洛克伍德特别提到了竞争对手的技术细节:

  • DDN:其 DCR 技术在公布配置中使用 8+2 RAID 6 阵列,允许池中任意两个驱动器故障而不丢失数据。对于更大系统,DDN 承认可能需要超越 DCR 的保护级别。
  • HPE Cray:采用 GridRAID 分散式 RAID 解决方案。以伯克利实验室 Perlmutter 超级计算机为例,其 Lustre 存储单元使用 8+2+1 RAID 6 配置。其中“+1”为分布在整个 12 驱动器池中的备用空间,重建时写入所有存活驱动器而非单一替换盘。这种设计仅在特定驱动器故障时提供保护,属于模拟中灾难性故障率较高的场景。

VAST 的改进策略与元数据风险

为了降低数据丢失风险,VAST 建议至少采用三条奇偶校验带的全系统擦除编码。虽然增加奇偶校验带和全球分散化可以加快重建并降低风险,但也扩大了故障域,使得随机故障发生在同一条纹上的概率增加。结合这两种方法,可将风险降至极低水平。

除了数据本身,元数据(索引信息)也是关键风险点。VAST 将元数据存储在独立的快速 SSD 上,以承受两次故障。模拟显示,数据驱动器的十年故障率为 78 万亿分之一,而元数据为 5800 万分之一。这表明周边基础设施(如索引重建延迟)构成了主要风险。

洛克伍德指出,VAST 系统在驱动器掉线时会进行电源循环,这导致重建启动存在平均 12 秒的延迟。对于拥有四条奇偶校验带的数据驱动器而言,这种延迟影响微乎其微;但对于只有三条奇偶校验带的元数据索引驱动器,等待 20 分钟以上的重建风险极高。

行业趋势:迈向 TB 级驱动器

存储市场正加速向超大容量驱动器演进:

  • Micron:已于今年 5 月开始出货 245TB 的 6600 ION SSD。
  • Kioxia:推出 LC9 系列,用于戴尔 2U 服务器,单机箱可容纳 40 块驱动器,总容量达 9.8PB。
  • Solidigm:计划在今年晚些时候推出 245TB 产品。
  • SanDisk/SK hynix/Samsung:路线图均指向 TB 级驱动器,包括 SanDisk 的 UltraQLC 和 SK hynix 的 QLC SSD 目标。

随着 256TB UltraQLC 等产品陆续上市,如何在保证可靠性的前提下应对更大容量的“爆炸半径”,将成为并行文件系统设计的核心议题。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读