英伟达首次推出配备高速内存的升级版GH200 Grace Hopper芯片

作者：MARIA DEUTSCHER

更新时间：美国东部时间2023年8月8日15:56

英伟达（Nvidia Corp.）今天首次推出了GH200 Grace Hopper芯片的升级版，它将使企业能够运行更复杂的语言模型。

英伟达的首席执行官黄仁勋（Jensen Huang）在本周于拉斯维加斯举行的Siggraph计算机图形大会的主题演讲中详细介绍了这款芯片。黄仁勋表示，GH200（如图）目前正在生产中。英伟达计划在今年年底开始提供该芯片的样品，并预计在2024年下半年开始在服务器上使用。

英伟达表示，新版GH200是全球首款包含HBM3e内存的处理器。这是一种高速内存，用于存储芯片正在处理的数据。它比HBM3（原版GH200使用的技术）快50%。

HBM3e是SK hynix公司采用10纳米工艺制造的。英伟达采用该技术不算意外。今年6月，有报道称该芯片巨头曾向SK hynix购买HBM3e样品。

为芯片配备HBM3e之类更快的内存能使其以更高的性能运行大型语言模型。这与语言模型和一般神经网络的架构方式有关。

人工智能由许多称为层的软件构件组成。每个构件执行用户分配给人工智能的一小部分任务。

人工智能的第一层将原始数据作为输入，对其进行分析并生成一系列中间结果。然后，这些结果被传送到第二层，由第二层进行进一步处理。然后，进一步处理的结果会被发送到第三层进行新一轮计算，同样的过程会重复多次。

每当人工智能的某一层产生中间处理结果时，运行人工智能的芯片就必须将这些结果保存到内存中。然后，这些数据必须从内存中取出，进入下一个人工智能层进行进一步分析。这意味着数据要在芯片的逻辑电路和内存之间不断移动。

英伟达升级版GH200芯片中的HBM3e内存让数据能够以比以往更快的速度进出逻辑电路，从而加快了处理速度。据英伟达表示，这种性能提升将使企业能够运行更先进的人工智能模型。这家芯片制造商表示，一台配备两块新GH200芯片的服务器可运行的人工智能模型比使用原版GH200类似配置系统的规模大3.5倍。

新型GH200可在两个板载计算模块上运行人工智能模型。第一个是基于Arm的Neoverse芯片设计的中央处理单元，拥有72个内核。GH200的另一个计算模块则是一个图形处理单元，可提供4 PB的AI性能。

在今天的Siggraph大会上，黄仁勋介绍称GH200的设计是内存和高速缓存一致。这意味着板载GPU和CPU可以在相同的数据上进行计算，而不是像通常要求的那样使用单独的数据副本。据英伟达称，这种做法提高了处理效率。

黄仁勋表示：“你可以将任何大型语言模型放入GPU，它就会疯狂地进行推理。”“大型语言模型的推理成本将大幅下降。”

GH200兼容英伟达的MGX参考架构，后者是一种设计服务器的蓝图。因此，硬件制造商将该芯片集成到基于MXP的服务器中应该比较简单。

黄仁勋表示，升级之后配备HBM3的GH200还构成了名为Grace Hopper Compute Tray的数据中心系统的基础。该系统都将单个GH200与英伟达的BlueField-3和ConnectX-7芯片结合在一起。后两种芯片的设计目标都是为了加快服务器之间的网络流量，但是BlueField-3也可以加速某些其他计算任务。

单个集群最多可连接256个Grace Hopper Compute Trays。据黄仁勋表示，这样一个集群可以提供1 exaflop的人工智能性能。1 exaflop相当于每秒百亿亿次计算。