买不到N卡，不如入手英特尔Gaudi2和至强CPU

说到大模型，算力稀缺是不可回避的问题。当大家都在抢购英伟达的GPU的时候，在缺货的等待期，我们不妨尝试其他产品。

就在今天MLCommons刚刚公布的MLPerf推理v3.1性能基准测试结果显示，英特尔Habana Gaudi2加速器、第四代英特尔至强可扩展处理器，以及英特尔至强CPU Max在AI推理方面表现出色。

我们看下具体的成绩：

用于测试的是60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J。Habana Gaudi2在GPT-J模型上的推理结果强有力地验证了其具有竞争力的性能。

• Gaudi2在GPT-J-99和GPT-J-99.9 上的服务器查询和离线样本的推理性能分别为78.58 次/秒和84.08 次/秒。
• H100相对于Gaudi2仅表现出1.09倍（服务器）和1.28倍（离线）的轻微性能优势。
• Gaudi2拥有高于英伟达A100 2.4 倍（服务器）、 2 倍（离线）的性能。
• Gaudi2提交的结果采用 FP8数据类型，并在这种新数据类型上达到了99.9%的准确率。

英特尔提交了基于第四代英特尔至强可扩展处理器的7个推理基准测试，其中包括GPT-J模型。对于GPT-J对约1000-1500字新闻稿进行100字总结的任务，第四代至强可扩展处理器可在离线模式下完成每秒两段的总结提要，在实时服务器模式下完成每秒一段的总结提要。

英特尔首次提交了英特尔至强CPU Max系列的MLPerf 结果，该系列可提供高达64GB的高带宽内存。对于GPT-J而言，它是仅有的能够达到99.9%准确度的CPU，这对于对精度要求极高的应用来说至关重要。

除了这次AI推理的测试结构，根据6月披露的MLCommons AI训练结果和Hugging Face性能基准测试验证，Gaudi2在先进的视觉语言模型上，性能可以超越英伟达的H100处理器。

所以，从测试成绩看，Gaudi2与至强可扩展处理器完全可以用于深度学习推理及训练，加速人工智能模型。

其实Gaudi2与至强可扩展处理器之所以能够取得如此的成绩，主要是还是产品针对人工智能工作负载进行优化。比如Gaudi2集成了24个可编程Tensor处理器核心（TPCs），配置21个Gbps以太网接口，内存和缓存提高到96GB HBM2e和48MB SRAM，内存带宽升为2.4TB/s等。

在测试GPT-3时，Gaudi 2表现出了强劲性能，在384个加速器上训练时间达311分钟，从256个加速器到384个加速器实现了近线性95%的扩展。这使得Gaudi 2是除了英伟达产品外，唯一能把MLPerf GPT 3.0模型跑起来的芯片。

Gaudi 2作为一款专用AI加速芯片，相比英伟达的通用GPU A100和H100，其服务器成本更低，价格优势也更为明显。

第四代英特尔至强可扩展处理器最重要的特性之一，是新的AMX人工智能加速引擎，与上一代相比，它可以提供高达10倍的人工智能推理和训练性能提升，支持大多数大型AI模型，包括实时、中等吞吐量、低延迟稀疏推理，以及中、小型规模的训练和边缘推理。

MLPerf是业内享有盛名的AI性能基准测试，旨在实现公平、可重复的产品性能比较。这有助于企业基于测试成绩进行采购指南。