英伟达首次推出配备高速内存的升级版GH200 Grace Hopper芯片

英伟达今天首次推出了GH200 Grace Hopper芯片的升级版,它将使企业能够运行更复杂的语言模型。

作者:MARIA DEUTSCHER

更新时间:美国东部时间2023年8月8日15:56

英伟达(Nvidia Corp.)今天首次推出了GH200 Grace Hopper芯片的升级版,它将使企业能够运行更复杂的语言模型。

英伟达首次推出配备高速内存的升级版GH200 Grace Hopper芯片

英伟达的首席执行官黄仁勋(Jensen Huang)在本周于拉斯维加斯举行的Siggraph计算机图形大会的主题演讲中详细介绍了这款芯片。黄仁勋表示,GH200(如图)目前正在生产中。英伟达计划在今年年底开始提供该芯片的样品,并预计在2024年下半年开始在服务器上使用。

英伟达表示,新版GH200是全球首款包含HBM3e内存的处理器。这是一种高速内存,用于存储芯片正在处理的数据。它比HBM3(原版GH200使用的技术)快50%。

HBM3e是SK hynix公司采用10纳米工艺制造的。英伟达采用该技术不算意外。今年6月,有报道称该芯片巨头曾向SK hynix购买HBM3e样品。

为芯片配备HBM3e之类更快的内存能使其以更高的性能运行大型语言模型。这与语言模型和一般神经网络的架构方式有关。

人工智能由许多称为层的软件构件组成。每个构件执行用户分配给人工智能的一小部分任务。

人工智能的第一层将原始数据作为输入,对其进行分析并生成一系列中间结果。然后,这些结果被传送到第二层,由第二层进行进一步处理。然后,进一步处理的结果会被发送到第三层进行新一轮计算,同样的过程会重复多次。

每当人工智能的某一层产生中间处理结果时,运行人工智能的芯片就必须将这些结果保存到内存中。然后,这些数据必须从内存中取出,进入下一个人工智能层进行进一步分析。这意味着数据要在芯片的逻辑电路和内存之间不断移动。

英伟达升级版GH200芯片中的HBM3e内存让数据能够以比以往更快的速度进出逻辑电路,从而加快了处理速度。据英伟达表示,这种性能提升将使企业能够运行更先进的人工智能模型。这家芯片制造商表示,一台配备两块新GH200芯片的服务器可运行的人工智能模型比使用原版GH200类似配置系统的规模大3.5倍。

新型GH200可在两个板载计算模块上运行人工智能模型。第一个是基于Arm的Neoverse芯片设计的中央处理单元,拥有72个内核。GH200的另一个计算模块则是一个图形处理单元,可提供4 PB的AI性能。

在今天的Siggraph大会上,黄仁勋介绍称GH200的设计是内存和高速缓存一致。这意味着板载GPU和CPU可以在相同的数据上进行计算,而不是像通常要求的那样使用单独的数据副本。据英伟达称,这种做法提高了处理效率。

黄仁勋表示:“你可以将任何大型语言模型放入GPU,它就会疯狂地进行推理。”“大型语言模型的推理成本将大幅下降。”

GH200兼容英伟达的MGX参考架构,后者是一种设计服务器的蓝图。因此,硬件制造商将该芯片集成到基于MXP的服务器中应该比较简单。

黄仁勋表示,升级之后配备HBM3的GH200还构成了名为Grace Hopper Compute Tray的数据中心系统的基础。该系统都将单个GH200与英伟达的BlueField-3和ConnectX-7芯片结合在一起。后两种芯片的设计目标都是为了加快服务器之间的网络流量,但是BlueField-3也可以加速某些其他计算任务。

单个集群最多可连接256个Grace Hopper Compute Trays。据黄仁勋表示,这样一个集群可以提供1 exaflop的人工智能性能。1 exaflop相当于每秒百亿亿次计算。

来源:至顶网计算频道

0赞

好文章,需要你的鼓励

2023

08/09

10:30

分享

点赞

邮件订阅