全栈智能网络技术 NVIDIA BlueField-3 DPU和NVIDIA DOCA 2.0加速AI变革 原创

近期，以ChatGPT为代表的大语言模型持续火爆，在人们惊叹于其表现时，而要实现大模型不可避免的就是遇到吞吐量和性能瓶颈。

为了满足人工智能模型训练和推理的需求，NVIDIA提供了为全新应用提供加速的高性能网络平台——Quantum-2 InfiniBand网络平台和Spectrum-4以太网网络平台，而BlueField-3 DPU是这两大高性能加速网络平台的重要组成部分。

其中，BlueField-3 DPU通过卸载、加速和隔离数据中心控制平面，创建了一个安全、加速和可持续的基础设施，用于在节点集群中运行人工智能和其他现代工作负载，并作为一个统一的计算平台运行。

而DOCA提供基于BlueField系列DPU的可编程性，可以广泛的应用到支撑生成式AI的数据中心基础设施中，以加速生成式AI的模型训练和推理。

突破吞吐量和性能瓶颈 BlueField-3 DPU

BlueField-3 DPU专为数据中心规模的计算而设计，提供400Gb/s以太网和InfiniBand网络连接，相比上一代可支持高达4倍的计算能力、高达4倍的加密加速性能、2倍的存储处理性能和5倍的内存带宽。

NVIDIA网络技术专家崔岩告诉记者，BlueField-3 DPU具有四大优势：加速性能、提升云规模效率、强大的零信任安全、完全可编程的基础设施。具体来说：

加速云计算：现在人工智能模型训练和推理会依托于云计算的方式，而BlueField-3 DPU支持的虚拟机数量时上一代的四到八倍，这对于云厂商而言，不用大幅度增加硬件投入，就可以增加投资回报。

安全的云计算：在多租户环境中，BlueField-3 DPU提供了数据中心的控制平面，实现租户的隔离，以及业务应用域和基础设施域之间的隔离，借助零信任安全模型提供更好的安全性保障。

加速企业计算：除了云计算平台，BlueField-3 DPU现在已经部署到戴尔的Poweredge服务器，支持VMware vSphere 8。以Redis事务处理为例，采用BlueField-3  DPU可以增加50%的Redis事务处理能力，并实现零 CPU 核心占用。

可持续的云计算：数据中心的能耗持续增加，而BlueField-3 DPU会提升服务器的性能表现，减少服务器的功耗水平，间接减少电力费用。测试显示，与未使用DPU的服务器相比，使用NVIDIA BlueField DPU的服务器可降低高达34%的功耗。

NVIDIA DOCA为DPU注入灵魂

NVIDIA DOCA是专为BlueField DPU而设计的软件开发套件和加速框架。DOCA旨在通过为BlueField DPU快速创建和部署应用程序和服务来解锁数据中心创新。

从某种意义上来说，DOCA之于DPU正如CUDA之于GPU，是释放DPU潜力的关键，也是加速云计算基础设施服务的关键。

NVIDIA DOCA拥有丰富的库、驱动程序和API，可为BlueField DPU开发者提供 “一站式服务”，同时也是加速云基础设施服务的关键。

NVIDIA DOCA软件框架现在已支持BlueField-3 DPU，使成千上万的开发者能够利用第三代DPU平台的强大功能来快速创建加速的应用程序和服务。

NVIDIA网络市场总监孟庆表示，最新发布的 NVIDIA DOCA 2.0增加了对BlueField-3 DPU里的数据路径加速器（DPA）编程子系统的支持，以及DOCA IPsec加密/解密库、设备认证和YARA规则在内的多项安全增强功能。还包括DOCA Flow库增强功能、Regex匹配性能改进、SNAP v4存储功能、BlueMan遥测小工具等，软件生态更加丰富。

其中，DPA是一种高度可编程的嵌入式处理器，集成于BlueField-3 DPU中。DPA有助于从CPU 卸载更多类型的流量，并通过DPU加速来提高性能。

NVIDIA DOCA DPA库是NVIDIA DOCA软件开发套件的一部分，它提供了一种编程模型，用于卸载以网络为中心的代码，并在DPA处理器上运行。

NVIDIA DOCA 2.0体现了NVIDIA BlueField-3 DPU的软件可编程性，借助NVIDIA BlueField-3 DPU可以获得完全可编程的加速数据中心平台。

目前，全球已有超过4700名注册开发者使用NVIDIA DOCA来创建BlueField DPU应用程序，孟庆说，NVIDIA非常注重社区建设，在2021年中国的 DOCA 开发者占了全球开发者42%，经过过去一年的发展，今年年初56%的DOCA开发者来自中国。

为了不断壮大社区规模，DOCA中国开发者社区举办了丰富的活动，比如DOCA训练营、黑客松竞赛。而且首批NVIDIA授权合作伙伴DPU & DOCA卓越中心提供了免费的DOCA开发环境，方便开发者体验。

DOCA中国开发者社区还为DOCA中国开发者提供丰富的技术文档、培训、视频、论坛、微信群来协助初阶开发者进行开发。

结语

为了充分发挥人工智能的潜力，数据中心正转向加速计算，以满足日益增长的计算需求。在NVIDIA DOCA 2.0版本的支持下，BlueField-3 DPU正在为人工智能时代云、超级计算和企业数据中心带来变革。