Tom's Hardware构建企业级SSD专用测试平台

Tom's Hardware搭建高性能工作站评测企业级SSD。采用Intel Xeon 658X处理器与Asus服务器主板,支持U.2、E3.S等形态。通过fio工具模拟真实负载,确保数据准确可靠。

随着人工智能工作负载的激增,消费者级 SSD 和传统硬盘在性能与耐久性上逐渐显露不足,促使企业级及数据中心专用 SSD 的需求显著上升。U.2、U.3、E3.S 和 E1.S 等原本罕见的高规格存储形态,如今已广泛渗透至高端工作站乃至家庭实验室环境。相较于消费级产品,这些企业级解决方案在容量上限、持续性能表现以及可靠性方面均具备明显优势。

Xeon 658X驱动并行测试

鉴于购买此类存储设备对企业而言是一项重大资本支出,对其进行全面、严谨的评测显得尤为关键。Tom's Hardware 通过构建专用的测试平台与分析流程,旨在为潜在买家提供基于数据的决策支持。

Tom's Hardware 企业 SSD 测试系统架构

为了真实还原并挑战企业级 SSD 的性能极限,测试团队构建了一套高性能工作站。该平台的搭建得益于 Asus、Corsair、G.Skill、Icy Dock 和 Noctua 等厂商的硬件支持。

核心处理器选用 Intel Xeon 658X,这是一款属于 Granite Rapids 家族的芯片,拥有 24 核 48 线程,加速频率可达 4.9GHz。在存储测试中,单核性能决定了 IOPS 的上限及对单个请求的响应速度,而多核能力则允许将负载分散至八个 fio 工作进程中,从而支持对多个驱动器进行并行测试。Xeon 658X 的特性完美契合了这一需求。

Intel Xeon 658X
Asus Pro WS W890E-Sage SE 主板
Noctua NH-U14S DX-4677 散热器
Gigabyte GT 1030 显卡

散热方案采用 Noctua NH-U14S DX-4677 空气冷却器,兼容 LGA4677 和 LGA4710 插槽。这款单塔式散热器配备双 NF-A15 140mm 风扇,能够在极低噪音水平下提供高效冷却。

主板选用 Asus Pro WS W890E-Sage SE,其服务器级特性与 Xeon 658X 相得益彰。板载内置的 MCIO x8 接口可拆分为两个 x4 通道,直接支持两块 U.2 或 U.3 驱动器的评估。此外,主板提供七个 PCIe 5.0 扩展槽(六个 x16 和一个 x8),充分利用了处理器的 128 条 PCIe 5.0 通道,确保存储与图形子系统不会遭遇带宽瓶颈。

尽管未来计划引入 RTX Pro 显卡以模拟真实 AI 工作负载,但当前配置已足以覆盖性能测试的核心维度。

G.Skill G5 DDR5 内存
Corsair MP700 Pro XT 系统盘
Corsair HX1500i 电源

内存部分由 G.Skill 提供一套 G5 DDR5-6400 C32 64GB (4x16GB) R-DIMM 套件。尽管标称频率较高,但在测试中运行于 JEDEC 标准的 DDR5-5600 基线速度。这一选择并非受限于内存本身,而是因为内存频率对企业 SSD 测试结果无显著影响。

系统盘采用 Corsair MP700 Pro XT 2TB,这是一款 PCIe 5.0 SSD,连续读写速度分别高达 14,900 MB/s 和 14,500 MB/s,确保操作系统及测试工具在长时间高负载运行下的流畅性。

供电模块选用 Corsair HX1500i 电源,额定功率 1,500W,通过 80 Plus 白金认证,满载效率至少达 89%。其静音且稳定的输出特性对于需要长时间运行的基准测试至关重要,同时也为未来的硬件升级预留了充足余量。

Icy Dock ExpressSlot Elite MB221E5P-B
Icy Dock ExpressSlot Elite MB303E5P-B
Icy Dock ToughArmor MB218E5P-B
JMT ADT-R27C 适配器

为了便于在标准 PCIe 插槽中测试企业驱动器,Icy Dock 提供了 ExpressSlot Elite MB221E5P-B 和 MB303E5P-B 适配器。不同于通用设计,这两款产品具备免工具安装机制,无需从主板上拆卸即可操作,并内置 50mm 风扇进行主动散热。

针对 E1.S 规格驱动器,测试台配备了 ToughArmor MB218E5P-B,这是一个 5.25 英寸端口设备,最多支持 8 个 E1.S SSD,用于探索 RAID 阵列应用。对于 E3.S 驱动器,则使用 JMT ADT-R27C 适配器,搭配 Noctua NF-F12 工业 PPC-24V-3000 IP67 PWM 风扇。该风扇可在 12V 电压下运行,提供强劲气流以冷却被测 SSD。

Tom's Hardware 企业 SSD 测试平台全景

整个硬件系统安装在 TGDGamer E-ATX 开放式测试台上。这种结构虽不追求外观华丽,但极大简化了硬件的安装与更换流程,同时消除了封闭机箱带来的热量积聚变量,使 Asus Pro WS W890E-Sage SE 等组件能在最佳状态下运行。

基准测试套件:模拟真实负载

仅凭规格表无法反映驱动器在充满数据、垃圾回收机制持续运作时的真实表现。因此,测试套件专注于测量处于服务状态下的驱动器性能,包括稳定状态、高负载写入冲击以及并发任务场景。所有驱动器均在同一自动化平台上接受相同流程的测试,每个结果都关联精确的运行参数以便追溯。

完整测试耗时较长,例如在一块 7.68TB PCIe 5.0 驱动器上,全流程需约一天时间。为提高效率,测试支持无人值守运行,并提供“快速模式”用于初步筛选。若发现异常结果,可单独重跑特定测试项或调整参数进行验证。

软件环境与引擎配置

测试平台运行定制化的 Debian 13 镜像,内核版本固定以确保软件栈一致性。目前使用来自 Debian backports 的 Linux 7.2.6 内核,因为原生 6.12 内核不支持主板上的 Intel E610 万兆网卡。虽然支持远程管理,但物理更换硬盘仍需人工介入。

选择 Debian 而非 Ubuntu 的原因在于其后台服务较少、无 Snap 包干扰且默认关闭自动更新。测试期间保留内核不变,禁用 AppArmor 及每周 TRIM 定时器等预定任务。每次运行前,套件会强制关闭 NVMe 自主功率状态转换 (APST),并确认驱动器报告已关闭该功能,以防止闲置间隙进入低功耗状态导致唤醒延迟。

所有测试均在 fio 3.42 中进行,采用 i_uring 和直接 I/O 访问原始块设备。这意味着绕过文件系统与页面缓存,64GB 内存不会缓存任何测试数据。fio 从源代码编译,因为发行版自带的包缺少 SPRandom 功能。

相比 Oracle Vdbench,fio 是开源且积极维护的工具。Vdbench 自 2018 年以来未发布新版本,且不同网站使用的硬件、预调节及配置定义各异,导致结果难以横向对比。因此,测试主要依赖 fio 进行混合工作负载扫描,覆盖常见的 4K 和 8K 读写比例。

稳定状态判定

确保驱动器处于稳定状态是测试的关键前提。第一阶段执行 NVME 安全擦除;若失败则回退至普通格式化并全盘丢弃数据,记录所用方法。

随后进行预调节(Preconditioning)。这是一种比反复填充更高效的达到稳定状态的方法,基于用户容量和过度配置(OP)计算。SanDisk 指出,一次通过即可达到稳定布局。OP 值根据实际 NAND 容量推断,例如 7.68TB 驱动器假设对应 8TiB 物理 NAND,OP 约为 14.5%。

测试不信任 SPRandom 结果,而是采用 SNIA 稳定状态规则作为门槛:在 QD256 下进行 4K 随机写入,直至写入速度趋于平稳。最后 30 分钟被分为五个六分钟的轮次,要求轮平均值波动在 2% 以内,趋势线斜率不超过 1%。

若驱动器在 3 小时内未达到此标准,将被标记为不稳定,但测试仍会继续。作为后备检查,随机扫描后会再次运行四角 4K 写入,若两次结果差异超过 3%,则标记该次运行无效。

套件还会实时监控自身结果:若某测试最慢时刻低于平均值的 70%,需现场重测;若随机扫描中某点偏离邻近曲线超过 10%,需在删除驱动器前重新测量。所有重复测试数据均会在报告中注明。

随机测试结束后,驱动器再次被擦除并进行从头到尾的一次 QD64 128K 顺序写入,以统一后续序列和 AI 测试前的初始条件。首次试驾显示,未经此步骤时最快与最慢结果相差三倍以上;经过连续填充后,QD2 到 QD1024 范围内的 128K 和 1MB 性能保持稳定。

对于支持 512 字节逻辑块的驱动器,测试将其格式化为 512 字节块,以便区块大小扫描能低至 512 字节传输。SNIA 企业 IOPS 测试同样使用 512 字节传输,Kioxia GP 系列也为此优化。不支持 512 字节格式的驱动器将在发货状态下测试,其 sub-4K 结果会被标记为不支持。格式切换与安全擦除同步进行,不增加额外时间。

排除主机干扰因素

测试需确保瓶颈在于驱动器而非主机或工具。首先是 CPU 睡眠状态(C-State):Xeon 658X 从最深 C6 状态唤醒可能需 170 微秒,直接影响 QD1 延迟。保持核心清醒可使首个驱动器的平均 4K QD1 读取延迟降低约六分之一。

其次是 CPU 算力:单个 fio 进程极易占满一个核心,远低于 PCIe 5.0 驱动器的处理能力。因此,随机测试现在将队列深度扩展至最多 8 个 fio 工作进程,这也是为何测试台需要高主频和多核心的原因。

第三是 fio 本身的随机数生成器:默认情况下,fio 每次运行使用相同的种子,导致重复相同的偏移序列。这解释了为何 4K 随机写入速度往往是持续速度的两倍。现在,每个随机测试均使用新鲜的随机种子。

某些设置保持不变以模拟真实应用环境:IOMMU 保持默认模式。在首个驱动器上,禁用投票和 IOMMU 直通虽能降低 4K QD1 写入延迟,但这不符合大多数应用场景。

测试上限接近 2800 万 4K 随机读取 IOPS。在最快驱动器上,常规结果可能低于规格表数值,而低队列深度延迟(尤其是写入)则高于调优后的主机表现。为展示极限,套件在随机阶段结束时重复三次测试:4K 随机读取峰值,以及 QD1 下的 4K 随机读/写。这些数据单独绘图,不与主图表混淆。

测试项目详解

测试项目运行方式目的
四角测试 (Four Corners)QD256 下的 4K 随机读/写;QD256 下的混合随机读/写;QD64 下的 128K 和 1MB 顺序读/写获取标题数字,测量预调节后的驱动器性能,而非全新出厂状态
随机与混合扫描4K 和 8K 块大小,QD1 至 QD4096,涵盖从 100% 读到 100% 写的八种混合比例服务器很少满负荷运行;QD1 反映延迟敏感软件的体验,8K 是常见数据库页大小
驱动器极限 (轮询)8 个工作进程下 QD1024 的 4K 随机读取,以及 QD1 的 4K 随机读/写,全部使用轮询 I/O排除主机中断开销,展示驱动器理论上限,用于对照规格表
顺序扫描128K 和 1MB 顺序读/写,QD1 至 QD1024评估达到全速所需的并行度;低队列深度反映单次恢复或扫描的性能
块大小扫描QD32 下,从 512 字节到 1MB 的随机读/写小于映射单元的写入可能产生读-改-写惩罚;大块显示带宽上限
尾部延迟4K 和 8K 读/写,QD1、QD4 和 QD16,从 P50 到中位数至 P99.999平均值掩盖了应用感知的停顿;在百万 IOPS 下,最慢的 0.001% 仍意味着每秒十个请求
饱和曲线4K 70/30 混合负载,13 个队列深度(QD1 至 QD4096),绘制为占驱动器峰值吞吐量的百分比找出延迟开始急剧上升的负载点
持续写入一小时 QD256 下的 4K 随机写入观察持续写入是否保持平稳,或因垃圾回收挣扎而出现锯齿状波动
写后读恢复重度写入爆发后立即进行四分钟的 QD1 4K 读取测量重度写入后读取性能的下降幅度及恢复速度

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读