英伟达的加速器已经成为同类产品中耗电量最大的选项之一,但这些芯片却仍旧在Green500榜单中占据着全球最具可持续性超级计算机的主导地位。
在这份两年一度评选出的榜单上,十大最节能系统中有八家采用了英伟达部件,其中五家由该GPU巨头的1000瓦Grace Hopper超级芯片(GH200)负责驱动。
这些融合了基于Arm Neoverse V2设计的72核Grace CPU及480 GB LPDDR5x显存,同时配有96至114 GB HBM3或HBM3e内存的H100 GPU,在高性能计算(HPC)社区中可谓大受欢迎。
在最新的Green 500榜单上,这款芯片为能效排名第一和第二的两大系统提供支持——分别是EuroHPC的JEDI和Romeo HPC Center的Romeo-2025设备。二者在高性能Linpack基准测试中分别实现了每瓦727和709亿次浮点运算性能——当然,均为FP64精度。
这两套系统几乎完全相同,均使用Eviden BullSequana XH3000平台构建而成,且使用相同的GH200加速器。英伟达的GH200还与Isambard-AI Phase 1(688亿次/瓦)、Jupiter Exascale Transition Instrument(679 亿次/瓦)和 Helios GPU(669亿次/瓦)一道在榜单上为位列第四、第六和第七的设备提供支持。
Jupiter百亿亿次开发设备
与此同时,英伟达备受推崇的H100则为能效榜上排名第五、第八和第九的设备提供支持,包括Capella、Henri以及HoreKa-Teal系统。
不过英伟达能否在Green 500榜单中继续保持高位,恐怕值得怀疑。其Grace-Balckwell超级芯片已经正式发布规格,普版GB200功耗高达2.7千瓦,GB200 NVL4版功耗更是达到5.4千瓦。
而新一代产品,未必能提供更高的每瓦计算能力。
从2020年的A100到2022年的H100,其FP64性能跃升了约3.5倍。然而与1.2千瓦的Blackwell相比,700瓦的H100在FP64矩阵数学运算方面实际上更强。事实上,对于FP64精度的场景,Blackwell架构的唯一改进就是矢量数学,这款即将推出的芯片将性能提升了32%。
因此,虽然目前英伟达Green 500榜单上仍占据高位,但AMD也依旧维持着一席之地。事实上,正是Zen家族的MI300A加速处理单元支撑起了在最新榜单上排名第三的Adastra 2系统。
有些朋友可能不大熟悉,AMD的MI300A发布于不到一年之前,它将24个CPU核心和六个CDNA-3 GPU芯片融合至同一APU当中,板载HBM3内存高达128 GB,可配置热设计功耗(TDP)为550到760瓦。而且至少从纸面上看,该加速器的HPC性能已经达到H100的1.8倍。
Adastra 2由HPE Cray使用EX255a刀片服务器(与全球最强超级计算机采用同款设计)制造而成,能效达到每瓦690亿次。无独有偶,能效榜上排名第十的系统是劳伦斯利弗莫尔国家实验室的另一台基于MI300A的设备,名为RZAdams,能效为每瓦628亿次。
规模扩展成最大难题
Green 500榜单上前十名中的所有系统,都已经远远超过了在20兆瓦限制内实现百亿亿次算力的目标——换算下来相当于每瓦对应50亿次算力。但事实证明,要在规模扩展的同时保持这样的能效水平却极其困难。
观察Green 500榜单上能效最高的三套系统,不难发现它们的体量都很有限。JEDI的额定功率仅为67千瓦。相比之下,瑞士国家超级计算中心的AIps机器(Top 500榜单中最强大的GH200系统)在HPL基准测试中实现了434千万亿次算力,能耗则为7.1兆瓦,对应的每瓦610亿次性能仅在能效榜单中排名第14位。
Adastra 2的情况也差不多,规模甚至还不及JEDI,额定功率仅有37千瓦。如果能够保持住每瓦690亿次的算力,那么实际只需要耗费25.2兆瓦电力就能达到El Capitan 1.742百亿亿次的性能。可真实情况下,El Capitan需要近29.7兆瓦的功率才能支撑起这样破纪录的算力水平。
好文章,需要你的鼓励
来自香港科技大学和MiniMax的研究团队开发了SynLogic,一个可合成35种逻辑推理任务的框架与数据集,填补了AI逻辑训练资源缺口。研究表明,在SynLogic上进行强化学习训练显著提升了模型逻辑推理能力,32B模型在BBEH测试中超越了DeepSeek-R1-Distill模型6个百分点。更值得注意的是,将SynLogic与数学和编程数据混合训练不仅提高了这些领域的学习效率,还增强了模型的泛化能力,表明逻辑推理是构建通用AI推理能力的重要基础。
这项研究揭示了大型语言模型的惊人能力:只需两个特殊训练的向量,冻结的语言模型就能在一次计算中生成数百个准确词汇,而非传统的逐词生成。研究者发现,这种能力要求特定的输入排列方式,且生成速度比自回归方法快约279倍。这一发现不仅展示了语言模型未被充分探索的并行生成潜力,还为快速文本重建开辟了新方向。
腾讯混元团队提出的"ConciseR"是一种通过两阶段强化学习实现大模型简洁推理的新方法。研究遵循"先走后跑"原则,先确保模型具备准确推理能力,再优化输出简洁性。第一阶段通过改进的群体相对策略优化(GRPO++)提升推理能力,第二阶段通过长度感知的群体相对策略优化(L-GRPO)减少输出长度。实验结果显示,该方法在AIME、MATH-500等多个基准测试中既减少了输出长度(平均20%以上),又保持或提高了准确率,展现出高效率-高准确率的理想平衡。
这项由香港科技大学团队开展的研究首次全面评估了压缩对大语言模型Agent能力的影响。研究发现,虽然4位量化能较好地保留工作流生成和工具使用能力(仅下降1%-3%),但在实际应用中性能下降达10%-15%。团队提出的ACBench基准测试横跨工具使用、工作流生成、长文本理解和实际应用四大能力,评估了不同压缩方法对15种模型的影响。结果显示,AWQ量化效果最佳,蒸馏模型在Agent任务上表现不佳,大型模型对压缩更具韧性。研究还提出ERank等创新分析方法,为实际部署提供了切实指导。