今年5月NVIDIA推出Ampere GPU架构的时候,公布了一套名为Selene的新型超级计算机,总性能在全球排名第7。Selene现在成为美国最快的工业系统,也是有史以来第二高能效的系统。Selene采用风冷方式,在标准数据中心内构建完成仅仅用了三周时间,而通常安装一套超级计算机需要9-12个月。如此之快,很可能是因为采用了NVIDIA即插即用的DGX系统,该系统配置了AMD CPU、A100 GPU和Mellanox HDDR网络。不久之后,佛罗里达大学宣布他们也构建了同样是基于DGX A100平台的超级计算机。因此,NVIDIA履行了首席执行官黄仁勋(Jensen Huang)的承诺,即NVIDIA不仅有GPU业务,还将在端到端数据中心的竞争中脱颖而出。
Selene不是NVIDIA首次涉足基于DGX的超级计算机,NVIDIA最早是在2017年推出Volta GPU的时候公布了SaturnV超级计算机。NVIDIA在构建自有超级计算机的过程中积累了很多经验,从而帮助NVIDIA将这些经验运用于学术界和大型云基础设施,同时为NVIDIA工程师们提供世界一流的产品设计和软件优化计算平台。SaturnV和Selene还可作为参考架构,供潜在客户进行测试,以确定是否可以满足他们的需求,让外界对于NVIDIA作为高性能基础设施的一级厂商充满信心。不仅佛罗里达大学对于NVIDIA系统的表现印象深刻,美国阿贡国家实验室、微软和洛克希德·马丁公司也都拥有了自己的DGX SuperPOD,而且该设计在HGX版本中已经开源,任何数据中心都可以根据需要自行构建。
许多媒体文章中都详细介绍过,这套系统是在疫情期间配置和安装的,为了遵守社交隔离政策,只有两个安装团队。我们在这里想重点谈一谈该系统对NVIDIA业务及其合作伙伴业务的意义和影响。
NVIDIA在DGX和HGX参考体系结构方面拥有丰富的经验,NVIDIA和合作伙伴网络也进行了整体的升级,提供从芯片和模块到包括软件、计算基础设施、网络和存储在内的全套数据中心。现在,客户可以直接找NVIDIA合作伙伴经销商或者DGX就绪数据中心合作伙伴安装DGX、DGX POD和DGX SuperPOD,或者以云的方式获得这些资源。可以肯定的是,DGX A100并不便宜,起价为19.9万美元,但是客户能够在几周之内(而不是几个月)就让系统平稳且低风险地运转起来。
NVIDIA尚未将该系统的收入数据从其他业务中划分出来,但是我预计这个产品系列将会迅速增长,成为NVIDIA的一个重要收入和利润来源。毕竟,NVIDIA到目前为止至少有十几个DGX客户,而Selene本身配置有280个DGX A100,如果有人要购买的话,标价为5600万美元。
最重要的是,NVIDIA一直在价值链上端发展,致力于将以往归于OEM合作伙伴的收入和利润收入自己的囊中。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。