聊聊英伟达对SuperPOD AI的存储性能评估方法

GPUDirect Storage（GDS）旨在通过使用直接指向NVMe存储驱动器的IO绕过存储服务器/阵列控制器的主机操作系统及CPU/内存，从而加快读写访问速度。

目前，各供应商已经公布了自己的GDS性能，为客户提供了一种能够比较其优劣的方法：

我们整理了过去几年总计十家供应商发布的结果，具体如上图所示。随着AI市场的发展成熟，训练和推理类工作负载之间也出现了应用差异。除了RAG和向量搜索的兴起之外，市场上还出现了AI数据管线的概念。当今AI存储必须能够支撑整条管线中的各个阶段，特别是满足推理和训练负载对于数据访问的需求。

考虑到这一点，英伟达最顶尖的GPU服务器DGX SuperPOD列出了经过认证的存储供应商。要想入围这份名单，供应商们要做的已经不仅仅是将数据调整传输至GPU。传输带宽虽然非常重要，但已经不是唯一关键的指标。据我们了解，想要从单一节点层级衡量GPUDIrect性能并不靠谱，正确的方法应该更加全面，即考量能否具备一定的性能水平让SuperPOD保持高负荷运转，同时满足英伟达提出的延迟标准、持续性能水平、支持数千张GPU的可扩展性、大规模AI数据集处理以及系统与软件兼容性要求。

这里强调的性能，已经不单单指GDS带宽。可扩展性同样至关重要。Pure Storage公司高级总监Hari Kannan在采访中表示，“我们正在推进英伟达SuperPOD认证，而且认证内容主要集中在性能层面。毕竟这也是SuperPOD的意义所在——必须保证在极高规模下仍拥有出色的性能表现。为此，我们必须与英伟达分享自己的性能基准。他们也开展了自己的性能测试，以验证其是否符合他们提出的SuperPOD基准。”不过具体基准内容尚未公开。

目前已经有四家SuperPOD存储供应商通过了认证，分别为：DDN及其A³I A1400X2T Lustre阵列；IBM及其Storage Scale System 6000、NetApp及其运行BeeGFS的EF600，以及VAST Data及其Data Platform数据平台。这四家供应商均提供并行文件系统访问能力。

上图所示，为IBM获得的英伟达SuperPOD认证函。可以看到其中单个SSS6000的读取速度就高达340 GB/秒，写入速度则高达175 GB/秒。

计划支持SuperPOD的存储供应商还包括戴尔的PowerScale、Pure Storage以及WEKA的WEKApod。

戴尔正着手在Lightning项目当中为其PowerScale OneFS操作系统添加并行文件系统支持。这也许有助于其满足SuperPOD提出的性能与可扩展性要求。

据我们了解，Hitachi Vantara的VSP One存储已经获得了BasePOD认证，下一步希望通过SuperPOD认证。我们也就SuperPOD认证一事询问了NetApp及其ONTAP AFF阵列，并将在得到回复后向大家报告。

MinIO公司表示，其开源DataPOD对象存储方案能够扩展以支持任意数量的GPU服务器。但据我们了解，该公司并不打算通过SuperPOD认证。此项认证主要面向文件系统存储，即使底层基于对象存储，也至少需要在应用层表现为文件系统的形式。

SuperPOD存储认证更像是一种衡量是否合格的兼容性测试，而非能够量化的基准测试。而从英伟达的市场利益的角度出发，最好是能有更多存储供应商顺利通过SuperPOD数据访问认证。如此一来，客户就不必比对公开发布的SuperPOD性能基准测试，再从中选取速度最快的存储供应商。总之，这种不公开SuperPOD存储性能数据、而单纯以是否通过认证来衡量的方式，更有利于英伟达团结更多合作厂商。