全球的超级计算中心都在纷纷利用 NVIDIA Quantum InfiniBand 网络上的NVIDIA BlueField DPU 将加速计算提升到一个新的水平
在欧洲和美国,HPC 开发者正在利用 NVIDIA BlueField-2 DPU 内的 Arm 核和加速器的强大功能为超级计算机提供强大助力。
美国洛斯阿拉莫斯国家实验室 (LANL) 正在与 NVIDIA 进行一项为期多年的广泛合作,这项合作旨在将计算型多物理应用的性能提高 30 倍。
LANL 研究人员预计,使用在 NVIDIA Quantum InfiniBand 网络上运行的 DPU(数据处理器)可显著提升性能。这将使利用 BlueField 以及NVIDIA DOCA 软件框架在计算存储、模式匹配等领域实现技术创新。
面向 DPU 的开放式 API
这些努力还将有助于进一步定义 OpenSNAPI,任何人都可通过该应用接口来控制 DPU。这是统计计算框架( Unified Communication Framework) 的一个项目,Unified Communication Framework 是一个旨在实现 HPC 应用异构计算的联盟,成员包括 Arm、IBM、NVIDIA、美国国家实验室和美国的一些大学。
LANL 已经感受到网络计算的强大功能,这要归功于其创建的 DPU 赋能的存储系统。
加速闪存盒(ABoF,如下图所示)将固态存储与 DPU 和 InfiniBand 加速器相结合,可为 Linux 文件系统的关键性能部分提供加速。它的性能高达同类存储系统的 30 倍,并将成为 LANL 基础架构中的关键组件。
一位研究人员在近期的 LANL 博客中表示:“ABoF 让计算靠近存储,可更大限度减少数据移动,从而提高仿真和数据分析工作流程的效率。”
德克萨斯州打造出云原生超级计算平台
德克萨斯高级计算中心 (TACC) 近期也开始在 Dell PowerEdge 服务器中采用 BlueField-2。它将在 InfiniBand 网络上使用 DPU,使其 Lonestar6 系统成为云原生超级计算的开发平台。
TACC 的 Lonestar6 为德州农工大学、德州理工大学和北德克萨斯大学的众多 HPC 开发者,以及一些研究中心和教职人员提供服务。
MPI 获得加速
在距 TACC 东北部 1200 英里的地方,俄亥俄州立大学的研究人员展示了 DPU 如何将一个 HPC 热门编程模型的运行速度提高 26%。
他们通过卸载消息传递接口 (MPI) 的关键部分,加速了 P3DFFT,这是一个用于众多大规模 HPC 仿真的数学库。
俄亥俄州立大学计算机科学与工程专业的教授 Dhabaleswar K. (DK) Panda 在其带领的 MVAPICH 开源软件团队推动 DPU 工作,他表示:“DPU 就像是为忙碌的高管处理工作的助手,它们将成为主流,因为它们可以加速运行各种工作负载。”
HPC 中心和云中的 DPU
对于运行药物研发或飞机设计等 HPC 仿真应用的超级计算机而言,高达两位数的性能加速是惊人的。Panda 表示,云服务可以利用这些加速提高客户的生产力,他已收到多个 HPC 中心的代码请求。
Quantum InfiniBand 网络以及 NVIDIA SHARP 特性,助力他高效完成工作。
他说:“其他人还在谈论网络计算,而 InfiniBand 已经在为它提供支持。”
达勒姆开发负载均衡
欧洲的多个研究团队正利用 BlueField DPU 加速 MPI 和其他 HPC 工作负载。
例如,英格兰北部的达勒姆大学正在开发一款软件,用于在 16 个节点的 Dell PowerEdge 集群上使用 BlueField DPU 以实现 MPI 作业的负载均衡。该项目的首席调查员 Tobias Weinzierl 表示,该软件将为全球各地的 HPC 设施更高效地处理更好算法铺平道路。
剑桥大学和慕尼黑的 DPU 应用
剑桥大学、伦敦和慕尼黑的研究人员也在使用 DPU。
伦敦大学学院正在探索如何在 BlueField-2 DPU 上为主机系统调度作业。例如,可以使用它的能力在主机处理器之间移动数据,以便在需要时数据已然就位。
Dell PowerEdge 服务器内的 BlueField DPU 可为 Cambridge Service for Data Driven Discovery 服务卸载主机 CPU 的安全策略、存储框架和其他作业,从而更大限度地提高系统性能。
与此同时,慕尼黑工业大学计算机体系架构和并行系统组的研究人员正在寻找方法,使用 DPU 来卸载 MPI 和操作系统任务,这是 EuroHPC 项目的一部分。
在美国,佐治亚理工学院的研究人员正在与桑迪亚国家实验室合作,利用 BlueField-2 DPU 加速分子动力学研究。一篇论文描述了他们目前的工作成果,其中表明,算法可以加速高达 20%,且不会损失模拟的准确性。
不断扩展的网络
本月早些时候,日本研究人员宣布将推出一款采用新版 NVIDIA H100 Tensor Core GPU 的系统,该系统将搭载速度更快、更智能的 NVIDIA Quantum-2 InfiniBand 网络平台。
NEC 将使用 H100 的为筑波大学计算科学中心构建算力大约为 6 PFLOPS 超级计算机。研究人员将使用该系统实现气候学、天体物理学、大数据、AI 和更多方面的研究。
与此同时,Panda 等研究人员已经开始考虑如何使用 BlueField-3 DPU 的核心功能。
他打趣道:“这就像雇佣拥有大学学位的行政助理,而不是那些拥有高中文凭的行政助理一样,所以我希望能够完成越来越多的工作卸载。”
好文章,需要你的鼓励
zip2zip是一项创新技术,通过引入动态自适应词汇表,让大语言模型在推理时能够自动组合常用词组,显著提高处理效率。由EPFL等机构研究团队开发的这一方法,基于LZW压缩算法,允许模型即时创建和使用"超级tokens",将输入和输出序列长度减少20-60%,大幅提升推理速度。实验表明,现有模型只需10个GPU小时的微调即可适配此框架,在保持基本性能的同时显著降低计算成本和响应时间,特别适用于专业领域和多语言场景。
这项研究创新性地利用大语言模型(LLM)代替人类标注者,创建了PARADEHATE数据集,用于仇恨言论的无毒化转换。研究团队首先验证LLM在无毒化任务中表现可与人类媲美,随后构建了包含8000多对仇恨/非仇恨文本的平行数据集。评估显示,在PARADEHATE上微调的模型如BART在风格准确性、内容保留和流畅性方面表现优异,证明LLM生成的数据可作为人工标注的高效替代方案,为创建更安全、更具包容性的在线环境提供了新途径。
这项研究由中国科学技术大学的研究团队提出了Pro3D-Editor,一种新型3D编辑框架,通过"渐进式视角"范式解决了现有3D编辑方法中的视角不一致问题。传统方法要么随机选择视角迭代编辑,要么同时编辑多个固定视角,都忽视了不同编辑任务对应不同的"编辑显著性视角"。Pro3D-Editor包含三个核心模块:主视角采样器自动选择最适合编辑的视角,关键视角渲染器通过创新的MoVE-LoRA技术将编辑信息传递到其他视角,全视角精修器修复并优化最终3D模型。实验证明该方法在编辑质量和准确性方面显著优于现有技术。
这项研究提出了ComposeAnything,一个无需重新训练的框架,可显著提升AI图像生成模型处理复杂空间关系的能力。该技术由INRIA、巴黎高师和CNRS的研究团队开发,通过三个创新步骤工作:首先利用大型语言模型创建包含深度信息的2.5D语义布局,然后生成粗略的场景合成图作为先验指导,最后通过物体先验强化和空间控制去噪引导扩散过程。在T2I-CompBench和NSR-1K基准测试中,该方法远超现有技术,特别是在处理复杂空间关系和多物体场景时表现卓越,为AI辅助创意设计开辟新可能。