要说当下最困难的挑战,就是如何为计算系统采购充足的英伟达“Hopper”H100 GPU。哪怕是作为供应商的英伟达自己,也只能在有限的配额之下谨慎规划、调拨给内部使用。正因为如此,英伟达去年11月用于展示MLPerf基准测试运行能力的Eos超级计算机有半数设备被分配给了其他系统。如今的Eos虽仍是英伟达的当家招牌,但性能储备相较于峰值水平已遭腰斩。
当下的AI数据中心领域,正经历一段堪称荒谬的复杂时期。
首先是英伟达突然发布一篇博文外加一段视频,以颇为详尽且硬核的方式介绍了Eos系统——整体设备采用黑色、绿色加黄色搭配,颇有几分儿童故事书中的风格。
Eos设备早在2022年3月就已公开亮相,当时被作为Hopper GPU加速器的宣传素材,并于当年晚些时候进行了实装。随着11月在高性能LINPAKC基准测试中跑出认证成绩,Eos系统成功在2023年的Top500超级计算机榜单中名列第九。
用于数据中心训练和推理性能测试的最新MLPerf机器学习基准也在此时正式揭晓,英伟达对自家Eos同样信心满满——这是一套拥有10752张H100 GPU的满配系统,全部通过4000 Gb/秒的Quantum-2 NDR InfiniBand实现互连。
援引英伟达当时的介绍,“生成式AI领域又一颗新星伴随着众多新记录和里程碑冉冉升起——这就是英伟达Eos,一台AI超级计算机,拥有多达10752张英伟达H100 Tensor Core GPU并搭配英伟达Quantum-2 InfiniBand网络。在基准训练测试当中,Eos只需3.9分钟就能在拥有1750亿参数的GPT-3模型上完成10亿token的训练任务。”
这里透露一点背景信息:Eos系统的原始设计其实只搭载4608张H100 GPU,也就是目前英伟达实际维持的Eos配置。当初运行LINPACK测试并拿下Top500超算名次的Eos使用的正是这套配备。可短短几个月过去,MLPerf测试中这6144张H100加速器到底去哪了?
另外:2022年3月公布的Eos原始设计能够在4608张H100的FP64双精度运算下提供275千万亿次的理论峰值性能,但在LINPACK性能测试中,该系统的FP64峰值测试性能仅为188.65千万亿次,就是说只有约3160张H100 GPU被用于驱动LINPACK基准测试。为什么LINPACK测试中不要说10752张GPU满员配置,就连4608张GPU的基础配置都没能保住?这实在令人感到费解。而从MLPerf测试结果来看,在配置上齐装满圆的Eos一举带来约642千万亿次的峰值性能,持续LINPACK性能则略高于400千万亿次,按这个成绩计算Eos完全可以在11月的Top500超算榜单中挤进前五。
有意思,所以真相究竟是什么?
据我们所知,Eos系统的初始架构如下所示:
2022年3月公布的这台Eos设备建立了一套由32个DGX H100系统组成的SuperPOD,每个系统均包含8张H100 GPU,并通过NVSwitch内存结构为总计256张GPU提供共享内存空间。为了在FP64双精度运算下获得275千万亿次的峰值性能,或者在FP8四分之一精度下获得18百亿亿次的峰值性能,则需要使用大型Quantum-2 InfiniBand交换机复合体将18个DGX H100 SuperPOD互连起来。
根据我们的计算,DGX服务器内部使用了2304个NVSwitch 3 ASIC,18个SuperPOD中还各使用360个NVSwitch叶/脊交换机,即总计720个NVSwitch 3 ASIC。双层InfiniBand网络共包含500个InifniBand交换机,对应着另外500个交换机ASIC。有趣的是,这总计3524个交换机ASIC负责将4608张H100 GPU互连起来。(对于原始FP64运算,Eos设备上DGX节点中1152个至强SP主机CPU所贡献的算力几乎没有统计学意义。)当时就有文章评价称,这属于典型的网络密集型配置,跟超大规模基础设施运营商和云服务商的主流配置思路大相径庭。而且据我们所知,还没有哪家超大规模基础设施运营商和云服务商会使用NVSwitch结构建立SuperPOD——虽然这种方法性能更好,但对应的溢价实在过于夸张。
我们还联系了英伟达想了解Eos设备的参考架构,希望从细节入手探寻真相。我们不清楚Eos采用的H100拥有80 GB显存还是96 GB显存,也不清楚该系统为什么相较去年11月的MLPerf测试版本在配置上缩水了57.1%。
这里我们提出一种可能的猜测。目前一张H100 GPU的重量约为3磅(接近1.5公斤),售价则高达3万美元,折合每克22美元。截至本文发稿时,黄金的价格约为每克71美元,就是说英伟达旗舰GPU的同质量价格已经逼近黄金的三分之一。更重要的是,H100的实用价值远高于黄金。面对旺盛的市场需求与雪片般飞来的客户订单,把这6144张H100 GPU及时变现对英伟达来说无疑才是正确的选择。
好文章,需要你的鼓励
Snap 推出 Lens Studio 的 iOS 应用和网页工具,让所有技能层次的用户都能通过文字提示和简单编辑,轻松创建 AR 镜头,包括生成 AI 效果和集成 Bitmoji,从而普及 AR 创作,并持续为专业应用提供支持。
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。