并行文件系统 RAID 的可靠性危机与 VAST 的擦除编码方案
在超级计算大会 SC26 上,存储厂商 VAST Data 展示了一项针对 900PB 规模系统的模拟研究。数据显示,在当前主流的并行文件系统 RAID 架构下,10 年内发生数据丢失的概率高达十一分之一。VAST 首席技术策略师格伦·洛克伍德(Glenn Lockwood)指出,随着驱动器容量不断增大,传统 RAID 重建机制正面临严峻挑战。

大容量驱动器的功耗优势与重建风险
尽管大容量驱动器在故障后需要更长的重建时间,从而增加了二次故障导致数据丢失的风险,但数据中心运营商仍不得不采用这些驱动器。主要原因在于电力限制:存储功耗主要与带宽相关,而非单纯的容量。
洛克伍德通过对比分析了不同容量 SSD 的能效表现:
- 15TB SSD 方案:构建 900PB 系统需超过 63,000 块驱动器。每台 SSD 功耗约 28W(含基础设施分摊),加上每 GB/s 带宽 20W 的开销,总功耗达 5.6MW,可提供 190TB/s 带宽。这一功耗相当于约 3,100 个 Blackwell Ultra GPU 的能耗。然而,洛克伍德强调,在实际 AI 应用中,极少有场景需要接近此级别的存储性能。
- 122TB SSD 方案:仅需约 8,000 块驱动器即可达到相同容量,总带宽降至 8TB/s,但功耗仅为前者的十分之一,约 400kW。在此功耗预算下,15TB SSD 仅能支持 250PB 容量。
目前,245TB 级驱动器已面世,未来还将出现更大容量的产品。虽然大驱动器存在“爆炸半径”大的问题——例如在相同速度下,122TB 驱动器的重建时间是 60TB 驱动器的两倍——但在每代驱动器性能提升有限的情况下,这是必须面对的现实。
主流 RAID 方案的可靠性模拟
VAST 使用基于真实故障数据的离散事件模拟,评估了包含 7,920 块 122TB SSD、分布在 180 个机箱(每箱 44 盘)中的系统在不同保护方案下的数据丢失概率。结果如下:
| 保护方案 | 典型用户/实现 | 模拟驱动器大小 | 10 年内数据丢失几率 |
|---|---|---|---|
| 单奇偶校验 (RAID 5) | 目前已无人使用 | 122TB | 100% |
| 双奇偶校验 (RAID 6) | Lustre, BeeGFS 等开源文件系统 | 122TB | 1/150 |
| 封装内分散式 RAID | DDN EXAScaler, HPE Cray ClusterStor | PB 级 | 1/11 |
| 全系统擦除编码 + 额外奇偶校验 | VAST 建议的最低标准 | TB 级 | 1/54,000,000 |
| VAST 专有方案 | VAST Data | TB 级 | 1/62,000,000,000 |
洛克伍德特别提到了竞争对手的技术细节:
- DDN:其 DCR 技术在公布配置中使用 8+2 RAID 6 阵列,允许池中任意两个驱动器故障而不丢失数据。对于更大系统,DDN 承认可能需要超越 DCR 的保护级别。
- HPE Cray:采用 GridRAID 分散式 RAID 解决方案。以伯克利实验室 Perlmutter 超级计算机为例,其 Lustre 存储单元使用 8+2+1 RAID 6 配置。其中“+1”为分布在整个 12 驱动器池中的备用空间,重建时写入所有存活驱动器而非单一替换盘。这种设计仅在特定驱动器故障时提供保护,属于模拟中灾难性故障率较高的场景。
VAST 的改进策略与元数据风险
为了降低数据丢失风险,VAST 建议至少采用三条奇偶校验带的全系统擦除编码。虽然增加奇偶校验带和全球分散化可以加快重建并降低风险,但也扩大了故障域,使得随机故障发生在同一条纹上的概率增加。结合这两种方法,可将风险降至极低水平。
除了数据本身,元数据(索引信息)也是关键风险点。VAST 将元数据存储在独立的快速 SSD 上,以承受两次故障。模拟显示,数据驱动器的十年故障率为 78 万亿分之一,而元数据为 5800 万分之一。这表明周边基础设施(如索引重建延迟)构成了主要风险。
洛克伍德指出,VAST 系统在驱动器掉线时会进行电源循环,这导致重建启动存在平均 12 秒的延迟。对于拥有四条奇偶校验带的数据驱动器而言,这种延迟影响微乎其微;但对于只有三条奇偶校验带的元数据索引驱动器,等待 20 分钟以上的重建风险极高。
行业趋势:迈向 TB 级驱动器
存储市场正加速向超大容量驱动器演进:
- Micron:已于今年 5 月开始出货 245TB 的 6600 ION SSD。
- Kioxia:推出 LC9 系列,用于戴尔 2U 服务器,单机箱可容纳 40 块驱动器,总容量达 9.8PB。
- Solidigm:计划在今年晚些时候推出 245TB 产品。
- SanDisk/SK hynix/Samsung:路线图均指向 TB 级驱动器,包括 SanDisk 的 UltraQLC 和 SK hynix 的 QLC SSD 目标。
随着 256TB UltraQLC 等产品陆续上市,如何在保证可靠性的前提下应对更大容量的“爆炸半径”,将成为并行文件系统设计的核心议题。





