AI训练性能超越GPU Habana Gaudi2在MLPerf测试中表现出色 原创

目前MLPerf是AI行业唯一可靠的基准测试，MLPerf社区旨在设计公平且极具实际价值的基准测试，以公平地测量机器学习解决方案的准确度、速度和效率。

在最新的MLPerf训练2.0版本中，英特尔公司旗下Habana Labs的Habana Gaudi2处理器在视觉（ResNet-50）和语言（BERT）模型缩短训练时间（TTT）方面相较第一代Gaudi有了显著提升。Habana Labs于2022年5月提交的Gaudi2处理器在视觉和语言模型训练时间上已超越英伟达A100-80G的MLPerf测试结果。

其中，针对视觉模型ResNet-50，Gaudi2处理器的TTT结果相较英伟达A100-80GB缩短了36%，相较戴尔提交的同样针对ResNet-50和BERT模型、采用8个加速器的A100-40GB服务器，Gaudi2的TTT测试结果则缩短了45%。

其实早在5月份举行的英特尔On产业创新峰会（Intel Vision）上，Habana就展示了Gaudi2在运行ResNet-50（v1.1）的计算机视觉以及BERT Phase-1和Phase-2的自然语言处理工作时的训练性能，几乎是英伟达A100-80GB处理器的两倍。

基于与第一代Gaudi相同的体系架构，Habana Gaudi2处理器大幅提高了训练性能。客户在云端运行Amazon EC2 DL1实例以及本地运行Supermicro Gaudi训练服务器时，其性价比比现有GPU解决方案提升了40%。

相比于第一代Gaudi处理器，Gaudi2在ResNet-50模型的训练吞吐量提高了3倍，BERT模型的训练吞吐量提高了4.7倍。这些归因于制程工艺从16纳米提升至7纳米、Tensor处理器内核数量增加了三倍、增加GEMM引擎算力、封装的高带宽存储容量提升了三倍、SRAM带宽提升以及容量增加一倍。对于视觉处理模型的训练，Gaudi2处理器集成了媒体处理引擎，能够独立完成包括AI训练所需的数据增强和压缩图像的预处理。

除了Gaudi2在MLPerf测试中的卓越表现，第一代Gaudi在128个加速器和256个加速器的ResNet基准测试中展现了强大的性能和令人印象深刻的近线性扩展，支持客户高效系统扩展。

为提高模型的准确性和实时性，客户需要更频繁地进行训练。根据IDC的数据，在2020年接受调查的机器学习从业者中，有74%的人对其模型进行过5-10次迭代训练，超过50%需要每周或更频繁地重建模型， 26%的人则每天甚至每小时会重建模型。56% 的受访者认为培训成本是阻碍其组织利用人工智能解决问题，创新和增强终端客户体验的首要因素。基于此，第一代 Gaudi和Gaudi2在内的Gaudi平台解决方案应运而生。

Habana与Supermicro计划在2022年第三季度推出Supermicro Gaudi2训练服务器。同时，Habana亦与DDN联合打造采用Supermicro服务器和搭配DDN AI400X2存储的AI解决方案。

为支持客户将当前基于GPU的模型业务和系统迁移到Gaudi2服务器，并帮助保护软件开发投入，Habana SynapseAI软件栈针对深度学习业务进行优化，旨在简化模型的开发和迁移。SynapseAI集成了TensorFlow和PyTorch框架，并提供30多个流行的计算机视觉和自然语言参考模型，能够满足深度学习开发者的多样化需求。