Nvidia今天晚些时候详细介绍了A100 GPU的新液冷版本,可以提高数据中心的能源效率并减少碳排放。
Nvidia于本周二早些时候举行的Computex 2022大会上首次公布了这款GPU。大会期间,Nvidia还分享了一些合作伙伴开发的硬件产品相关详细信息,这些产品将采用Grace CPU Superchip、Grace Hopper Superchip和Jetson AGX Orion产品。
目前A100是Nvidia的旗舰数据中心GPU。Nvidia在2020年推出该芯片,它既可以用于训练人工智能模型,也可用于执行推理任务,或者训练完成后的神经网络任务。A100包含540亿个晶体管,性能是上一代的20倍。
A100最初针对数据中心设计的版本,是采用空气冷却的方法来为服务器散热的,这种方法已经被数据中心行业广泛采用长达几十年之久。Nvidia称,采用空气冷却方法的A100在运行AI软件时的能源效率是CPU的20倍。
Nvidia此次推出的新液冷版A100可进一步提高效率。Nvidia称,液冷版的性能与风冷版相同,但耗电量减少约30%,这一节电量数据是由Nvidia及其主要的数据中心运营商Equinix通过单独测试得出的。
液冷还有其他很多优点。空气冷却系统很多是通过蒸发大量水的过程对服务器进行散热的、而液冷系统所需水量要少得多,而且大部分或者全部的水都是可以回收的,这让数据中心运营商可以大幅减少用水量。
液冷系统的另一个好处是在数据中心占用的空间更少,其结果就是可以把更多的GPU配置到服务器中。服务器配置新的液冷版A100需要占用一个PCIe插槽,而之前的风冷版需要占用两个。
Nvidia目前正在向早期客户提供液冷版A100的样品,计划在今年夏天全面上市,至少有十几家硬件合作伙伴打算将该芯片集成到他们的产品中。
Nvidia还计划未来发布液冷版的H100,H100是Nvidia在今年早些时候首次公布的新旗舰数据中心GPU。H100运行Transformer自然语言处理模型的速度比A100快6倍。未来,Nvidia还希望推出液冷版的GPU,相比风冷版提供更高的功率效率和更高的性能。
除了液冷版A100之外,Nvidia今天还宣布,台湾的硬件合作伙伴将推出数十款基于Grace CPU Superchip和Grace Hopper Superchip的服务器。Grace CPU Superchip是一个计算模块,结合了Nvidia 内部开发的两个Grace CPU,在单个封装中使用高速互连进行连接。Grace Hopper Superchip是一个将Grace CPU与GPU相结合的计算模块。
据Nvidia称,这些合作伙伴开发的新款服务器,所采用的模块是基于四种专门的参考设计,这些参考设计侧重于不同的企业使用场景。
其中两个参考设计采用了Grace Hopper Superchip,让硬件制造商能够构建针对AI训练、推理、高性能计算工作负载进行优化的服务器;另外两个参考设计采用Grace CPU Superchip,专注于数字孪生、协作、图形处理和视频游戏流等场景。
Nvidia还推出了有关Jetson AGX Orin产品硬件生态的更新信息。Jetson AGX Orin是一个紧凑型的计算模块,旨在网络边缘运行AI模型。它将GPU与基于Arm设计的多个CPU以及其他处理组件进行结合,每秒可以运行275万亿次计算操作。
Nvidia还详细介绍称,有30多家硬件合作伙伴计划推出基于Jetson AGX Orin的产品,这些系统包括服务器、边缘计算设备、工业个人计算机和载板,以及工程师用来开发新硬件产品的电路板。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。