现代超大规模云技术推动数据中心走向了新的架构,利用一种专门针对数据中心基础架构软件而设计的新型处理器,来卸载和加速由虚拟化、网络、存储、安全和其它云原生AI服务产生的巨大计算负荷,这就是DPU(数据处理器)。
通过对各种高级网络、存储和安全业务进行卸载、加速和隔离,NVIDIA BlueField DPU可为云、数据中心或边缘计算等环境中的各种工作负载提供安全加速的基础设施。BlueField DPU将强大的计算能力、完整的片上基础设施可编程性及高性能网络相结合,支撑要求严苛的工作负载。
近日,NVIDIA DOCA 1.3正式发布,带来全新和增强功能。NVIDIA DOCA软件框架提供了一个全面、开放的开发平台,以加速NVIDIA BlueField DPU应用程序的创建。
NVIDIA网络技术专家崔岩告诉记者,要想充分发挥BlueField DPU强大的片上数据中心基础设施的硬件卸载能力,简单、高效的NVIDIA DOCA软件框架应运而生,以适应不同的应用场景。
崔岩介绍说,DOCA依托于面向未来的API驱动的思维模式进行构建,可以让BlueField硬件加速变得更加易用,从而实现非凡的数据中心的性能、效率、安全性。DOCA使开发者能够利用行业标准的API,在BlueField DPU上快速创建应用程序和服务,类似于GPU上的CUDA。
NVIDIA DOCA 1.3亮点盘点
NVIDIA DOCA 1.3提供了121个新的API开发接口,同时增加了具有优化流插入的 NVIDIA DOCA FLOW库、NVIDIA DOCA通信通道(Communication Channel)库、NVIDIA DOCA 正则表达式(RegEx)库、NVIDIA DOCA App Shield SDK、OVN IPsec加密完全卸载、NVIDIA DOCA基于主机的网络(Host Based Networking)、NVIDIA DOCA 遥测(Telemetry)、NVIDIA DOCA流量检测器(Flow Inspector)等全新和增强的功能。
其中,NVIDIA DOCA FLOW是一种用于网络加速的抽象层API 。NVIDIA DOCA FLOW是在硬件中构建通用SDN执行管道的最基本API 。
随着优化流插入(OFI)的加入, NVIDIA DOCA FLOW现在提供了一种新的方式来管理 NVIDIA BlueField DPU 的数据包转发表,并提供了几个额外的好处。其中包括提高流插入速率,可将性能提高 10 倍以上,扩展到超过 1 百万个规则/秒。改进的安全态势消除了劫持底层驱动程序的能力,并提供更大的灵活性。
1.3版本版本还引入了NVIDIA DOCA通信通道(Communication Channel),以实现安全、灵活和高效的应用程序卸载。NVIDIA DOCA通信通道用于主机软件和 NVIDIA BlueField DPU上运行的NVIDIA DOCA服务之间的隔离通信。
正则表达式,也称为 RegEx ,是许多脚本语言中使用的标准模式匹配工具。有了它,您可以创建与文本模式匹配的过滤器,而不仅仅是单个单词或短语。RegEx专为高吞吐量、低延迟的深度数据包检测应用程序而设计,这些应用程序需要数据包有效负载检测和异常监测,这可以通过使用RegEx模式匹配和字符串匹配来实现。NVIDIA DOCA正则表达式库是一个重要的安全和遥测功能,现已在NVIDIA DOCA 1.3中使用。
NVIDIA DOCA App Shield为网络安全供应商提供主机监控,以创建加速入侵检测系统解决方案,识别对任何物理或虚拟机的攻击。
NVIDIA DOCA 1.3包括对现有OVN部署的支持,以加速IPsec数据路径数据包处理。NVIDIA DOCA 1.3更新了驱动程序和运行时组件,以卸载IPSec数据包加密和解密以及HMAC身份验证,所有这些都基于NVIDIA BlueField DPU实现了零占用主机CPU资源。
在 NVIDIA BlueField DPU 上,基于主机的网络(HBN)有助于管理和监控同一节点上虚拟机或容器之间的流量。
采用 NVIDIA BlueField DPU 的 HBN 功能彻底改变了客户构建和思考数据中心网络的方式,随着 NVIDIA BlueField DPU 智能化程度的提高,降低了对 ToR 交换机的要求。NVIDIA BlueField DPU 还为网络策略的配置和实施提供了一个隔离的环境,且无需软件或依赖于主机。
崔岩表示,NVIDIA DOCA通过提供行业标准的开放API和框架,以及对NVIDIA DOCA库和服务的持续改进,为开发人员提供开放生态系统。“ 从开发者的角度看,我们会做API的抽象,使这些API更易于使用,缩短应用开发周期。”
一场硬核的黑客松
NVIDIA非常注重DPU开发者社区的建设,截止目前,全球有2000多名DOCA早期开发者,其中将近一半来自中国,并构建了裸金属云加速网络、高性能分布式存储、数字孪生、超级计算网络平台等方案。
DPU中国黑客松竞赛是开发者学习并实践使用DOCA软件开发套件来开发DPU加速的数据中心基础设施应用程序难得的机会,能帮助开发者利用DOCA驱动、DOCA库和工具构建和优化DPU加速的应用程序开发。
2022年4月16-17日,经过紧张激烈的竞赛,首届NVIDIA DPU中国黑客松圆满收官。活动共有69 支队伍注册报名参赛,10支队伍入选最终竞赛。
经过24小时的紧张软件编程与系统开发,最终4支队伍脱颖而出,获得本次黑客松竞赛大奖,他们是冠军PDSL团队、亚军瑞奇网络团队、季军焦糖味坚果团队和奈文摩尔团队。
亚军瑞奇网络团队成员胡效赫表示,在开发过程中,通过专家的指导和参赛团队进行的交流,团队充分地了解了DPU软硬件特性,积累了DPU的开发经验,同时也看到了其他团队在DPU上的创新实践。“DOCA良好的可编程性让我们可以快速实现并验证创新的想法,同时,我们也可以对DOCA的API进行深度、定制化开发,实现更好的性能和更丰富的功能。”
任何一次技术创新和基础架构变革,在业务科观测性上一定会产生新的产品和解决方案。瑞奇网络团队的参赛项目是着眼于基础设施的业务可观测性,他们提出了“DeepTrace”项目,面向DPU驱动的基础设施的网包级函数粒度业务可观测性。
“我们以DOCA提供的网流及粗粒度可观测性为基础,对应的是DOCA中的Netflow API库,结合DPU的高性能网络处理功能,对应的是DPU的ASAP2网包分类引擎,以及DOCA中的Flow API库,以及数据平面和控制平面的可编程能力,将可观测性的力度提升至网包级,并精确到每个函数功能。同时,我们也做到了几乎可以忽略不计的性能损耗。”胡效赫说。
基于DOCA开发DeepTrace的整体编程模式和在CPU上进行DPDK网络功能的开发功能类似,该模式提高了开发效率。
“非常感谢NVIDIA组织的DPU中国黑客松,我们团队在一天一夜的紧张开发中通过 mentor们的指导充分了解了DPU的硬件特性,而DOCA良好的可编程性让我们能够快速实现并验证我们的创新想法,希望DPU能早日在数据中心普及开来。”瑞奇网络队长贾成君如是说。
NVIDIA网络市场总监孟庆表示,黑客松竞赛给开发者带来一个学习的氛围,帮助大家学习、熟悉DPU和DOCA的应用场景,掌握编程方式,也可以通过和别的队伍同场竞技,互相学习和参考,获得启发。
据悉,今年下半年NVIDIA计划举办第二届DPU中国虚拟黑客松活动,在活动中将为广大的DOCA中国开发者提供为DPU中国虚拟黑客松训练营,并为开发者更新最新的DPU和DOCA发布信息,随后会组织DPU中国虚拟黑客松竞赛。
多举措打造开发者社区
举办黑客松是NVIDIA是推动DPU生态的重要举措,同时NVIDIA还通过NVIDIA授权合作伙伴DPU&DOCA卓越中心为中国DOCA开发者提供一个免费的DOCA开发环境。
NVIDIA授权合作伙伴DPU&DOCA卓越中心为DOCA中国开发者提供在线实践的DOCA开发环境,构建和拓展DPU和DOCA生态体系;与NVIDIA一道推动DOCA中国开发者社区的发展,提供培训课程和专业讲师,组织DOCA中国开发者社区活动,支持DOCA开发者训练营和DPU黑客松竞赛。
崔岩表示,该环境支持免费DOCA开发环境远程访问,并提供编译、运行、测试等完整的开发者服务,从而加速应用创新,拓展开发者社区。
开发者需要自备登录设备和相应的软硬件环境,卓越中心提供完整的软硬件DOCA开发环境。开发环境的开放时间是每周一到周四的9:00AM-15:00PM。申请人可以向卓越中心提交申请,审核批准之后可以获得2-6小时的免费开发环境。
开发者与开源总是形影不离。NVIDIA一直以来都是开源领域的贡献者,积极参与NVME、OCP等开放性组织。在网络方面,NVIDIA在SONiC、OVS、DPDK、OpenMPI等项目中做了非常多的工作。
最近,NVIDIA成为Linux基金会OPI(Open Programmable Infrastructure,开放可编程基础设施)项目创始成员。
孟庆表示,NVIDIA会开放DOCA的安全、存储加速、硬件卸载等特性,这样不管是客户还是ISV等合作伙伴都可以在DOCA开放架构之上编写应用程序。
崔岩补充说,DOCA提供丰富的社区资源,包括与NVIDIA专家交流的平台、开放文档、视频、培训课程等,支持广大的开发者能够在BlueField DPU上面进行简单灵活的软件开发。
好文章,需要你的鼓励
Blackwell GPU的生产制造工作量达到Hopper GPU的两倍有余,但带来的收入仅增加至约1.7倍。
由AMD驱动的El Capitan超级计算机(现位于美国劳伦斯利弗莫尔国家实验室(LLNL))成为世界上速度最快的超级计算机。