Nvidia发布了下一代InfiniBand网络平台Nvidia Quantum-2,致力于推动高性能计算的发展。
今天Nvidia在GTC 2021大会上宣布推出了Nvidia Quantum-2(如图),这是一个传输性能达到每秒400GB的InfiniBand网络平台,配置了全新的Nvidia Quantum-2交换机、ConnectX-7网络适配器,以及即将推出的BlueField-3数据处理单元。Nvidia表示,这一组合出色的网络吞吐性能和现金的多租户功能,可同时支持多个用户。
Nvidia的InfiniBand是一种计算机网络通信标准,用于对处理器和I/O设备之间的数据流进行高性能计算,以其高吞吐量和极低的延迟而闻名。
最新一代InfiniBand Quantum-2引入了新的功能,可进一步加速超算中心和提供了高性能计算服务的公有云平台中要求最为苛刻的工作负载。
Nvidia网络高级副总裁Gilad Shainer表示:“当今超级计算中心和公有云的需求正在走向融合,必须应对下一代高性能计算、人工智能和数据分析带来的挑战,提供尽可能高的性能,同时还必须安全地隔离工作负载,响应用户流量的各种需求。现在,Nvidia Quantum-2 InfiniBand实现了现代数据中心的这一愿景。”
Nvidia表示,为了提供所需的性能,Quantum-2 InfiniBand将网络速度提高了1倍,同时将上一代标准可用网络端口的数量增加了2倍,这意味着Quantum-2将性能提升高达3倍,同时将数据中心光纤交换机的需求减少6倍,此外还在大幅降低数据中心功耗的同时,将数据中心空间减少了7%。
这一切都要归功于最新的Nvidia Quantum-2 InfiniBand交换机(如图),该设备的7纳米芯片上容纳了570亿个晶体管,提供多达64个400Gbps端口或128个200Gbps端口。Nvidia表示,将在各种交换机提醒中提供这款交换机,规模最大的配置中最多有2048个端口,是上一代Quantum-1系统的5倍多。
与此同时,Quantum-2还提供了多租户性能隔离方面的好处,可确保一个租户或者一个用户的活动不会受到其他租户在性能上的影响。Nvidia表示,这是通过先进的、基于遥测的拥塞控制系统实现的,可确保有足够的吞吐量可用,无论需求或用户数是否激增。
Quantum-2的另一个亮点是一种独有的SHARPv3网络计算计算,以上一代InfiniBand相比,该技术为AI应用程序提供了高达32倍的加速引擎,不仅如此,还有一个全新的纳秒级精确计时系统,可通过同步分布式应用(例如数据库处理)来减少等待和空闲时间带来的开销,从而提高性能水平。
Nvidia解释说,纳秒计时是一种新功能,可让云数据中心成为电信网络的一部分,并托管软件定义的5G无线电服务。
此次发布时,Quantum-2 InfiniBand设计支持2个网络端点、新的Nvidia ConnectX-7网络接口卡(下图)和即将推出的BlueField-3 DPU。ConnectX-7将于2022年1月打样,据说是由80亿个晶体管组成的,采用了7纳米设计,与上一代ConnectX-6相比,可处理的数据量增加了1倍。BlueField-3 DPU将于5月打样,采用7纳米设计,拥有220亿个晶体管,提供16个64位Arm CPU,用于卸载和隔离数据中心基础设施任务。
Nvidia表示,Quantum-2 InfiniBand交换机现在已经开始从基础设施和系统合作伙伴处供货,包括Atos Computing、DataDirect Networks、戴尔、Excelero、技嘉、HPE、IBM、浪潮、联想、Penguin Computing、超微、WekaIO和Vast Data。
好文章,需要你的鼓励
这项研究介绍了VisCoder,一个经过专门微调的大语言模型,用于生成可执行的Python可视化代码。研究团队创建了包含20万样本的VisCode-200K数据集,结合了可执行代码示例和多轮修正对话。在PandasPlotBench基准测试中,VisCoder显著优于同等规模的开源模型,甚至在某些方面超越了GPT-4o-mini。研究还引入了自我调试评估模式,证明了反馈驱动学习对提高代码可执行性和视觉准确性的重要性。
这项研究提出了"适应再连续学习"(ACL)框架,一种创新的方法解决预训练模型在连续学习中的稳定性-可塑性困境。通过在学习新任务前先对模型进行适应性调整,ACL使模型既能更好地学习新知识(提高可塑性),又能保留已有知识(维持稳定性)。实验证明,该框架能显著提升各种连续学习方法的性能,为解决人工智能系统中的"灾难性遗忘"问题提供了有效途径。
这篇研究首次关注了CLIP模型文本编码器的对抗鲁棒性问题,提出了LEAF方法(Levenshtein高效对抗性微调)来增强文本编码器的稳健性。实验表明,LEAF显著提高了模型在面对文本扰动时的性能,在AG-News数据集上将对抗准确率从44.5%提升至63.3%。当集成到Stable Diffusion等文本到图像生成模型中时,LEAF显著提高了对抗噪声下的生成质量;在多模态检索任务中,它平均提高了10个百分点的召回率。此外,LEAF还增强了模型的可解释性,使文本嵌入的反演更加准确。
BenchHub是由韩国KAIST和Yonsei大学研究团队开发的统一评估平台,整合了38个基准中的30万个问题,按技能、学科和目标类型进行精细分类。研究显示现有评估基准存在领域分布偏差,而BenchHub通过自动分类系统和用户友好界面,让用户能根据特定需求筛选评估数据。实验证明模型在不同领域的排名差异巨大,强调了定制化评估的重要性。该平台支持多语言扩展和领域特化,为研究人员和开发者提供了灵活评估大语言模型的强大工具。