创下MLPerf基准测试记录 NVIDIA AI推理平台首秀创佳绩

MLPerf是业界公认的AI性能衡量基准，涵盖计算机视觉、医学影像、推荐系统、语音识别和自然语言处理等一系列工作负载。

随着人工智能在各行各业的深入落地，MLPerf测试成绩成为企业进行AI部署的一项重要参考工具，能够助力其在IT基础设施投资方面做出明智的决策。

近日，NVIDIA宣布其AI推理平台在最新MLPerf基准测试所有类别中展现出的性能均创下纪录。

刷新AI推理纪录

NVIDIA是MLPerf测试的常客，去年7月，NVIDIA打破MLPerf基准测试16项AI性能纪录；去年10月，NVIDIA创下了数据中心与边缘计算系统全部六个应用领域的记录。

步入2021年，NVIDIA依然保持了强劲的势头。在本次MLPerf测试中，NVIDIA是唯一一家针对数据中心和边缘类别中的每项测试都提交结果的公司，在所有MLPerf工作负载中均展现出顶级的性能。

多项提交结果还基于Triton推理服务器，其支持来自所有主要框架的模型，可在GPU及CPU上运行，并针对批处理、实时和串流传输等不同的查询类型进行了优化，可简化在应用中部署AI的复杂性。在配置相当的情况下，采用Triton的提交结果所达到的性能接近于最优化的GPU实现及CPU实现能够达到的性能。

NVIDIA能够取得如此佳绩，得益于NVIDIA AI平台的广度，其包含多种类型的GPU和AI软件，包括TensorRT和NVIDIA Triton推理服务器——微软、Pinterest、Postmates、T-Mobile、USPS和微信等领先企业都部署了该平台。

同时，NVIDIA还开创性地使用NVIDIA Ampere架构的多实例GPU性能，在单一GPU上使用7个MIG实例，同时运行所有7项MLPerf离线测试。该配置实现了与单一MIG实例独立运行几乎完全相同的性能。

这些提交结果展示了MIG的性能和通用性，能够针对特定应用，配置适当数量的GPU计算，从而让每个数据中心GPU都能发挥最大的效用。

除NVIDIA公司提交的测试结果外，多家NVIDIA合作伙伴也提交了共360多项基于NVIDIA GPU的测试结果，包括阿里云、戴尔科技、富士通、技嘉科技、慧与、浪潮、联想和超微。

实现AI普及化

此次MLPerf是NVIDIA A30和A10 GPU的首次亮相。两款GPU集高性能与低功耗于一身，可成为企业在AI推理、训练、图形和传统企业级计算工作负载等诸多方面的主流选择。

在打造全球领先的AI性能的同时，这一AI推理平台通过NVIDIA A30和A10 GPU对主流服务器实现了全新的扩展，让AI普及化。据悉，思科、戴尔科技、慧与、浪潮和联想预计将从今年夏季开始将这两款GPU集成到其最高容量的服务器中。

NVIDIA A30和A10 GPU是NVIDIA AI平台中的最新成员。NVIDIA AI平台包括NVIDIA Ampere架构GPU、NVIDIA Jetson AGX Xavier、Jetson Xavier NX，以及经优化后能够实现AI加速的全栈NVIDIA软件。

当前计算多元化趋势明显，AI应用引入了新的计算类型，从推理到训练，跨度更大，同时，数据量也从GB级到TB级、PB级不断提升，类型从结构化到半结构化、非结构化更加复杂多样。

不同数值精度的计算类型对于计算芯片指令集、架构的要求是不一样的，这样就导致之前我们一直使用的通用CPU已经无法满足多元化计算场景要求，这也是计算芯片的种类越来越多的很重要的原因。

而在NVIDIA GTC 2021上，围绕CPU、GPU和DPU这三类芯片，NVIDIA发布了全球首款专为TB级加速计算而设计的CPU NVIDIA Grace、全新BlueField-3 DPU等硬件产品，持续推动AI民主化。

在软件方面，超大规模语言模型训练与推理问答引擎Megatron、实时对话式AI平台Jarvis、AI网络安全框架Morpheus、由GPU加速的量子电路模拟框架CuQuantum等一系列最新进展也首次揭晓。

显然，面对AI浪潮，NVIDIA不断优化软硬件产品组合，为AI的落地提供源源不断的动力。