NetApp和Nvidia已经推出了一个组合式的AI参考架构系统,与Pure Storage和Nvidia 合作的AIRI系统相竞争。
这款系统主要针对深度学习,与FlexPod(思科和NetApp合作的融合基础设施)不同,这款系统没有品牌名称。而且与AIRI不同的是,它也没有自己的机箱封装。
NetApp和Nvidia技术白皮书《针对实际深度学习用例的可扩展AI基础设施设计》定义了一个针对NetApp A800全闪存存储阵列和Nvidia DGX-1 GPU服务器系统的参考架构(RA)。此外还有一个速度慢一些的,成本更低的、基于A700阵列的参考架构。
高配的参考架构支持单个A800阵列(高可用性配对配置),5个DGX-1 GPU服务器,连接2个思科Nexus 100GbitE交换机。速度较慢的A700全闪存阵列参考架构支持4个DGX-1和40GbitE。
A800系统通过100GbitE链路连接到DGX-1,支持RDMA作为集群互连。A800可横向扩展为24节点集群和74.8PB容量。
据说A800系统可实现25GB /秒的读取带宽和低于500微秒的延迟。
NetApp Nvidia DL参考架构配置图
Pure Storage和Nvidia的AIRI有一个FlashBlade阵列,支持4个DGX-1。FlashBlade阵列提供17GB /秒的速度,低于3毫秒的延迟。这与NetApp和Nvidia合作的参考架构系统相比似乎较慢,但A800是NetApp最快的全闪存阵列,而Pure的FlashBlade则更多地是一款容量优化型闪存阵列。
和Pure AIRI Mini一样,NetApp Nvidia DL RA可以从1个DGX-1起步,扩展到5个。 A800的原始容量通常为364.8TB,Pure的AIRI原始闪存容量为533TB。
AIRI RA配置图如下所示:
Pure Nvidia AIRI配置图
NetApp和Pure都对他们的这两个系统进行了基准测试,并且都包含Res-152和ResNet-50运行使用合成数据、NFS和64批量大小。
NetApp提供了图表和数据,而Pure只提供图表,所以对比起来有点困难。不过,我们可以通过将这些图表放在一起做个粗略的估计。
合成的总图表并不漂亮,不过确实提供了一些对比:
NetApp和Pure Resnet性能对比
至少从这些图表可以看出,NetApp Nvidia RA的性能优于AIRI,但让我们吃惊的是,由于NetApp/Nvidia DL系统与Pure AIRI系统相比具有更高的带宽和更低的延迟,分别是25GB/s的读取带宽和低于500微秒以下,后者分别17GB/s和低于3毫秒。
价格对比很好,但没有人透露给我们这方面的数据。我们猜测Nvidia可能会宣布更多深度学习方面的合作伙伴关系,就像NetApp和Pure这样的。HPE和IBM都是很明显的候选对象,还有像Apeiron、E8和Excelero等NVMe-oF这样的新兴阵列初创公司。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。