NetApp和Nvidia已经推出了一个组合式的AI参考架构系统,与Pure Storage和Nvidia 合作的AIRI系统相竞争。
这款系统主要针对深度学习,与FlexPod(思科和NetApp合作的融合基础设施)不同,这款系统没有品牌名称。而且与AIRI不同的是,它也没有自己的机箱封装。
NetApp和Nvidia技术白皮书《针对实际深度学习用例的可扩展AI基础设施设计》定义了一个针对NetApp A800全闪存存储阵列和Nvidia DGX-1 GPU服务器系统的参考架构(RA)。此外还有一个速度慢一些的,成本更低的、基于A700阵列的参考架构。
高配的参考架构支持单个A800阵列(高可用性配对配置),5个DGX-1 GPU服务器,连接2个思科Nexus 100GbitE交换机。速度较慢的A700全闪存阵列参考架构支持4个DGX-1和40GbitE。
A800系统通过100GbitE链路连接到DGX-1,支持RDMA作为集群互连。A800可横向扩展为24节点集群和74.8PB容量。
据说A800系统可实现25GB /秒的读取带宽和低于500微秒的延迟。
NetApp Nvidia DL参考架构配置图
Pure Storage和Nvidia的AIRI有一个FlashBlade阵列,支持4个DGX-1。FlashBlade阵列提供17GB /秒的速度,低于3毫秒的延迟。这与NetApp和Nvidia合作的参考架构系统相比似乎较慢,但A800是NetApp最快的全闪存阵列,而Pure的FlashBlade则更多地是一款容量优化型闪存阵列。
和Pure AIRI Mini一样,NetApp Nvidia DL RA可以从1个DGX-1起步,扩展到5个。 A800的原始容量通常为364.8TB,Pure的AIRI原始闪存容量为533TB。
AIRI RA配置图如下所示:
Pure Nvidia AIRI配置图
NetApp和Pure都对他们的这两个系统进行了基准测试,并且都包含Res-152和ResNet-50运行使用合成数据、NFS和64批量大小。
NetApp提供了图表和数据,而Pure只提供图表,所以对比起来有点困难。不过,我们可以通过将这些图表放在一起做个粗略的估计。
合成的总图表并不漂亮,不过确实提供了一些对比:
NetApp和Pure Resnet性能对比
至少从这些图表可以看出,NetApp Nvidia RA的性能优于AIRI,但让我们吃惊的是,由于NetApp/Nvidia DL系统与Pure AIRI系统相比具有更高的带宽和更低的延迟,分别是25GB/s的读取带宽和低于500微秒以下,后者分别17GB/s和低于3毫秒。
价格对比很好,但没有人透露给我们这方面的数据。我们猜测Nvidia可能会宣布更多深度学习方面的合作伙伴关系,就像NetApp和Pure这样的。HPE和IBM都是很明显的候选对象,还有像Apeiron、E8和Excelero等NVMe-oF这样的新兴阵列初创公司。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。