全新的 NVIDIA Spectrum-X 网络平台集 NVIDIA Spectrum-4、BlueField-3 DPU和加速软件于一身;全球头部云服务提供商采用该平台来横向扩展其生成式 AI服务
全新的 NVIDIA Spectrum-X 网络平台结合了 NVIDIA Spectrum-4、BlueField-3 DPU 和加速软件;全球头部云服务提供商采用该平台来横向扩展其生成式 AI 服务
COMPUTEX — 2023 年 5 月 29 日NVIDIA 于今日宣布推出 NVIDIA Spectrum-X 网络平台,该平台是一个加速网络平台,致力于提高基于以太网 AI 云的性能与效率。
NVIDIA Spectrum-X™ 是基于网络创新的新成果而构建 —— 将 NVIDIA Spectrum-4 以太网交换机与 NVIDIA BlueField®-3 DPU 紧密结合,取得了 1.7 倍的整体 AI 性能和能效提升,同时可在多租户环境中提供一致、可预测的性能。Spectrum-X 还提供 NVIDIA 加速软件和软件开发套件(SDK),使开发人员能够构建软件定义的云原生AI应用。
这种端到端的功能交付,可以减少基于transformer的大规模生成式AI模型的运行时间,助力网络工程师、AI数据科学家和云服务商及时取得更好的结果,并更快做出明智的决策。
全球头部超大规模云服务商正在采用 NVIDIA Spectrum-X,包括领先的云创新企业。
作为 NVIDIA Spectrum-X 参考设计的蓝图和测试平台,NVIDIA 正在构建一台超大规模生成式 AI 超级计算机,命名为 Israel-1。它将被部署在 NVIDIA 以色列数据中心,由基于 NVIDIA HGX™ 平台的戴尔 PowerEdge XE9680 服务器, BlueField-3 DPU 和 Spectrum-4 交换机等打造而成。
NVIDIA 网络高级副总裁 Gilad Shainer 表示:“诸如生成式 AI 等革命性技术正在推动各家企业提升数据中心性能的极限,从而获得更多竞争优势。作为新一代以太网络,NVIDIA Spectrum-X 为新一代 AI 工作负载扫清障碍,将会彻底改变整个行业。”
NVIDIA Spectrum-X 网络平台具有高度的通用性,可用于各种 AI 应用。它采用完全标准的以太网,与现有以太网的堆栈实现互通。
该平台起步于 Spectrum-4 ,这是全球首款专为 AI 网络打造的 51Tb/s 以太网交换机。先进的 RoCE 扩展功能可以跨 Spectrum-4 交换机、BlueField-3 DPU 和 NVIDIA LinkX 光纤相互协同,共同构建了一个专为 AI 云优化的端到端 400GbE 网络。
NVIDIA Spectrum-X 通过性能隔离增强了多租户环境,确保租户的 AI 工作负载能以最佳性能持续运行。NVIDIA Spectrum-X 还提供了更好的 AI 性能可见性,它可以识别性能瓶颈,而且具有全自动网络验证功能。
驱动 Spectrum-X 的加速软件包括Cumulus Linux、纯 SONiC 和 NetQ 等性能强大的 NVIDIA SDK,共同助力该网络平台实现极致性能。另外,Spectrum-X 还包括 BlueField DPU 的核心软件——NVIDIA DOCA™ 软件框架。
NVIDIA Spectrum-X 单台交换机即可实现突破性的 256 个 200Gb/s 端口的连接,使用两层叶脊拓扑可以连接 16,000 个端口,以支持 AI 云的增长和扩展,同时保持极高的性能和极低的网络延时。
生态采用情况
提供 NVIDIA Spectrum-X 方案的公司包括戴尔科技、联想和超微。
供货情况
NVIDIA Spectrum-X、Spectrum-4 交换机、BlueField-3 DPU 和 400G LinkX 光纤现已上市。
点评:生成式AI不光对算力有着巨大的需求,同时对网络性能也提出了更高的要求。NVIDIA Spectrum-X以太网平台针对生成式AI应用的网络要求进行了优化,可以提升网络性能,加速生成式AI模型的生成和运行。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。