伯克利实验室开始为未来的NERSC-10百亿亿次级系统进行招标

2023年4月18日

Timothy Prickett Morgan

劳伦斯伯克利国家实验室的国家能源研究科学计算中心是美国能源部推动超级计算创新的关键机构之一，它在几家供应商身上豪掷重金设计和建造超级计算机，目前该机构已经开始为未来的NERSC-10百亿亿次级超级计算机进行招标。

尽管慧与（Hewlett Packard Enterprise）是美国唯一一家乐于承接功能性超级计算机业务的主流服务器供应商，但这并非十拿九稳，这里可能会有一些竞争。

慧与于2016年8月以2.75亿美元的价格收购了Silicon Graphics，然后在2019年8月以13亿美元的价格收购了Cray，从而整合了两家竞争对手，否则它们可能会参与竞标这台还没有昵称的 NERSC-10机器。

在2018年为橡树岭国家实验室（Oak Ridge National Laboratory）安装了200 petaflops 的“Summit”混合CPU-GPU超级计算机并为劳伦斯利弗莫尔国家实验室安装了125 petaflops的Summit变体 “Sierra” 之后，IBM离开了超算业务——蓝色巨人曾表示这项业务对其无利可图。因此要想寻找第二个百亿亿次级机器的来源，希望相当渺茫。

英伟达可能是美国能源部HPC系统的主要承包商，看到其光学链接GPU研究投入生产将是一件有趣的事情。但英伟达似乎对这个想法并不感兴趣。在阿贡国家实验室的“Aurora”百亿亿次级系统陷入困境后，英特尔已经完全失去了成为HPC系统主承包商的兴趣，AMD也没有兴趣执牛角，联想几乎退出了竞争，即使它可以算是半家美国公司，可另一半却是中国的。然后就剩下了法国的Atos和戴尔，后者更像是小规模地在HPC领域做些皮毛工作，而不是担当功能级系统架构师。

微软Azure、亚马逊网络服务公司（AWS）或谷歌云（Google Cloud）可以在伯克利实验室内部建立一个系统，实际上这可能是美国政府想要的——与慧与或任何竞标者竞争。但是我们很难相信会有哪家云供应商真的将其视为一个机会，因为这是固定成本交易，更像是只能覆盖研发成本，而不是一桩利润丰厚的交易，甚至连成本加成都没有，更不用说是合理的利润了。

建造百亿亿次级计算机对于国家安全和推动信息技术创新很重要，但这并不是一个赚钱的简单方法。而且从来也不是。而且几乎可以肯定的是，它永远也不会是。能源部长Jennifer Granholm应该为了去年在橡树岭运行的“Frontier”超级计算机以及今年晚些时候会进入劳伦斯利弗莫尔国家实验室的“El Capitan”超级计算机给慧与和AMD送鲜花、巧克力和感谢信。

我们认为，NERSC-10的竞标将会没多少竞争。并且可能在一定程度上受到山姆大叔的胁迫，“他”需要百亿亿次级机器的替代供应商和架构，以减轻各种交付风险以及如此重要的机器只有单一来源的风险。鉴于对多样性的渴望，我们认为NERSC-10很有可能基于英伟达未来的混合CPU-GPU芯片，而不是AMD类似的CPU-GPU芯片，除非AMD对其未来的Instinct MI400或MI500计算引擎非常积极。这可能是一台基于“Falcon Shores”混合CPU-GPU设计的机器，但鉴于阿贡国家实验室的“Aurora”混合CPU-GPU机器的困境，英特尔将不得不做出很多让步才能成为NERSC-10系统的一部分。让步的可能将会是价格，这可能会赢得交易。这就是AMD在美国能源部百亿亿次级系统的采购中的击败IBM和英伟达的方法。

也许能源部和国防部将不得不创办自己的超级计算机制造商，像一家超大规模企业一样，找一家美国的原始设计制造商（ODM）来建造它。为什么不这样做呢？无论如何，我们需要一个大型的美国ODM，对吧？（Supermicro可以算作美国最大的一家，但还有其他几家。）而且NERSC-10要到2026年才会安装，所以有时间做一些不同的事情。但如果发生这种情况，竞争性投标就会消失，因为一旦山姆大叔成立了自己的系统，正如我们所说的那样，就将赢得所有交易。为了证明其存在是正当的，它就必须这样做。

NERSC-10 的征求意见书（RFP）和速度

伯克利实验室于4月17日开启了NERSC-10计算机的征求建议书（RFP），RFP预计将于今年第四季度发布，并在2024年第四季度签署系统构建和非经常性工程 （NRE）附加组件合同。计划于2025年安装NERSC-10抢先体验系统，于2026年下半年交付系统，于2027年全面投入生产。

让我们来看看 NERSC-10的愿望清单。

首先，该机器提供的应用性能必须是现有93.8 petaflops “Perlmutter”计算机的10倍，“Perlmutter”是一款HPE Cray EX235n系统，配备了64核AMD “Milan” Epyc 7763处理器与Nvidia“Ampere”A100 GPU加速器，通过HPE Slingshot-10以太网互连连接。10 倍不是理论上的64位浮点运算速度要求，而是在Perlmutart上运行的混合应用程序（称为 Workflow-SSI 堆栈）的性能提高10倍。伯克利实验室进一步表示，NERSC-10机器必须混合使用CPU和混合CPU-GPU节点，以充分提升Workflow-SSI的性能，这两种节点的具体组合方式由提供RFP的供应商决定。

无论采用何种架构，NERSC都必须适用于20兆瓦的功率包络（略低于橡树岭在使用的21.1兆瓦），提供1.69 exaflops的峰值并在High Performance Linpack基准上维持1.1 exaflops的性能。Perlmutter的功率为2.6兆瓦，经Linpack测试可提供70.9 petaflops的性能，每瓦27.4 gigaflops，这个效率是Frontier的一半，后者在Linpack测试中达到每瓦62.7 gigaflops。

很难猜测2026年安装的顶级超级计算机的每瓦gigaflops能够达到多少，但是让我们试试看。如果你每隔几年都会看看11月的Green500排名，那么在2014年，平均大约为4 gigaflops/瓦至5 gigaflops/瓦。两年后的2016年，这个数值介于每瓦6 gigaflops到10 gigaflops之间。2018年，它约为每瓦15 gigaflops，而在2020年约为每瓦27 gigaflops。Frontier是每瓦62.7 gigaflops。问题是：计算效率能否在2024年再次翻一番，还是从现在开始更倾向于提高50%？让我们悲观一点，因为摩尔定律已经到头了。对于2024年制造的计算机，每瓦100 gigaflops，增加60%，2026年制造的机器进一步提高35%，达到每瓦 135 gigaflops。这在四年内翻了一番多，这得益于进程收缩和减少CPU和GPU之间延迟的打包。

因此，在20兆瓦的功率范围内，这意味着NERSC-10机器的原始64位性能为2.7 exaflops，每瓦135 gigaflops。我们不认为伯克利实验室准备用足20兆瓦，特别是考虑到加州的电力成本，但我们确实认为它希望拥有一台在Linpack上提供至少1 exaflops的机器。

假设NERSC-10的峰值为1.5 exaflops，这将适合在Linpack上提供1 exaflops的11兆瓦功率包络内。根据我们的计算，这样的机器将提供Perlmutter 16倍的峰值性能，并且应该能够很好地实现伯克利实验室在NERSC-10 RFP中将实际应用性能提高10倍的规定。如果计算能力的提升或计算效率不如系统潜在供应商所希望的那样好，那么它可以用节点数量来弥补，就像功能级超级计算机经常采用的方式，它仍然适合20兆瓦的功率包络。

人们可能会说伯克利实验室的科学家们愤世嫉俗，但考虑到未来四年的各种未知数，他们实际上只是务实而已。

目前还没有给出NERSC-10系统的预算数据，但RFP指南确实透露NRE往往会占到系统建设合同的10%到20%，其中包括早期访问系统和多个测试和开发系统。

NERSC-10 机器必须能够使用 OpenMP指令运行C （2017）、C++ （2020） 和Fortran （2018）。它必须支持计算引擎（CPU、GPU等）的LLVM后端，并使用Kokkos、SYCL、OpenACC和CUDA应用程序编译应用程序。MPI是网络设备上的核心捆绑在一起的粘合剂。文件中没有指定网络类型，但毫无疑问，它将支持无限带宽技术（Infiniband）或以太网。