前沿科学研究对于AI和高性能计算的需求持续增加,美国能源部正在大力发展人工智能科学,将概念验证引入粒子物理学、材料科学和生物能源等领域的生产用例。
近日,美国国家能源研究科学计算中心(NERSC)正式启用的超级计算机Perlmutter将为7000多名研究人员提供近4 百亿亿次的AI性能。
借助软硬件的协同,NVIDIA赋能Perlmutter,通过搭载6144块NVIDIA A100 Tensor Core GPU,这使得Perlmutter成为在AI使用的16位和32位混合精度数学运算方面全球最快的系统。这一性能,还未包括今年晚些时候,将在劳伦斯伯克利国家实验室系统中开展的项目第二阶段。
目前,Perlmutter成为全球最大的A100系统,可支持20多种应用,致力于推动天体物理学、气象科学等领域的科学发展。
NERSC数据和分析服务组代理负责人Wahid Bhimji表示:“当前人们正在探索更大规模的神经网络模型,希望获得更加强大的资源,而Perlmutter基于A100 GPU、全闪存系统和数据流功能,能够适时满足人们对AI的这一需求。”
加速科学研究
Perlmutter超级计算机将在一个项目中协助拼装迄今为止最大的宇宙三维地图。它将处理来自宇宙摄像机——暗能量光谱仪(DESI)的数据。暗能量光谱仪每次曝光可以捕获多达5000个星系。
暗能量光谱仪(DESI)的地图将揭示暗能量这一宇宙加速膨胀背后的神秘物理学现象。暗能量的主要发现者是伯克利实验室的天体物理学家Saul Perlmutter,他也因此而获得诺贝尔奖。这台新的超级计算机就是以他的名字命名的。
研究人员需要利用Perlmutter的GPU速度,及时捕捉每晚几十次曝光,从而确定次日晚间将DESI对准何处。在以前的系统中,研究人员需要几周乃至几个月的时间,才能完成一年数据的发布准备工作,而有了Perlmutter,他们在短短几天内就能完成任务。
NERS数据架构师Rollin Thomas目前正在帮助研究人员为Perlmutter编写代码,他表示:“GPU让我们的数据准备工作速度提升了20倍,这太令人感到惊喜了。”
除了宇宙三维地图,许多项目有望在NERSC的新超级计算机上运行,例如,材料科学领域的研究旨在发现原子间的相互作用,从而为开发更好的电池和生物燃料指明方向。
传统的超级计算机几乎无法在几纳秒内使用Quantum Espresso等程序来处理模拟多个原子所需的数学运算。然而,通过将它们的高精度模拟与机器学习相结合,科学家们可以在更长的时间内研究更多的原子。
NERSC的应用性能专家Brandon Cook表示:“以前我们不可能针对电池接口这样的大型系统进行完整的原子模拟,但现在科学家们计划用Perlmutter来进行这一模拟。”目前,Brandon Cook正在帮助研究人员启动此类项目。
A100中的Tensor Core能够在这方面发挥其独特的作用。它们既能加速用于模拟的双精度浮点数学运算,又能加速深度学习所需的混合精度计算。
在去年11月,入围戈登·贝尔奖决赛的BerkeleyGW项目赢得了NERSC的认可,这一项目使用了NVIDIA V100 GPU。在NERSC领导该项目并负责监督应用性能的Jack Deslippe认为,A100的强大性能有望将此类研究提升到一个新的水平。
Perlmutter的另一个战略组成部分是软件,该系统所使用的NVIDIA HPC SDK能够支持OpenMP和其他常用编程模型。
另外,用于GPU上数据科学的开源代码RAPIDS,将加快NERSC内部日渐壮大的Python程序员团队的工作速度。目前它已在一个项目中证明了自身价值:相比之前的CPU,它使NERSC Cori超级计算机网络流量分析速度加快了近600倍。可见对于如何通过数据加速科学研究,RAPIDS将发挥重要的作用。
疫情期间,Perlmutter项目仍按计划进行。来自慧与(HPE)的工程师们协助NERSC组装了第一阶段的系统,并且与NERSC工作人员合作,对其设施进行了升级以适应新的系统。
融合AI和高性能计算的超级计算机恰逢其时
高性能计算已成为继理论科学和实验科学之后的第三大科学研究范式,推动了科学研究和科技创新的重要发展。得益于大数据和GPU等计算机硬件的发展,人工智能相关应用和研究近几年也获得了突飞猛进的进展。高性能计算与人工智能在不断融合、互补长短,推动了传统学科和一些新兴学科和研究领域的发展。
高性能计算和人工智能的融合是高性能计算行业的一个关键拐点,人工智能正被整合到高性能计算工作流当中。尽管CPU的摩尔定律的发展可能会变慢,但是运用GPU平行运算以及其他CPU技术的趋势将会逐年增长。AI深度学习以及结合HPC的应用正在往新的领域扩展,包括:基因组学、生物学研究、社会研究、虚拟现实等等。深度学习AI算法非常适合处理HPC中的数据。
在线上启动仪式上,NVIDIA首席执行官黄仁勋对于伯克利实验室工作人员使用这台超级计算机推动科学进步的计划表示了祝贺。
黄仁勋表示:“Perlmutter融合了AI和高性能计算,将为材料科学、量子物理学、气候预测、生物研究等多个领域的科研带来突破。”
现在,人工智能和分析已成为科学计算的新需求,世界各地的研究人员正在使用深度学习和数据分析来预测最有潜力的领域,然后进行实验。
NVIDIA GPU被广泛用于超级计算机中,比如全球TOP500榜单中前25强超级计算机中有20个都在后台使用了NVIDIA GPU。这其中就包括了Selene——NVIDIA专门为自己内部研究集群打造的超级计算机。该系统是位列全球第七,性能相当于每秒27.5次万亿次运算,而且值得注意的是,Selene也是全球最节能的系统之一。
除了用于扩展NVIDIA的研究范围之外,Selene系统还可以作为NVIDIA DGX设备系列的销售展示。NVIDIA表示,通过组装DGX A100设备,仅用了4周时间就完成了整套超级计算机的组装,每个系统提供8个A100 GPU,而通常某些情况下建造大型超级计算机可能要花费一年多的时间,显然这么快的部署速度对潜在客户来说是很有吸引力的。
此次Perlmutter正式上线启动,代表了融合AI和高性能计算的超级计算机正在成为趋势。而NVIDIA GPU以及网络技术等产品组合从某种程度上推动了这种趋势,其必将带来超级计算机的变革与创新。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。