硬件创新与软件赋能 NVIDIA Jetson生态协同让边缘AI加速落地 原创

如今各行各业都在积极推进数字化转型，比如制造业的工业4.0，其中一个非常关键的地方是边缘和云端数据中心的协同，边缘AI的需求由此催生。

在此背景下，NVIDIA Jetson应运而生。NVIDIA Jetson是面向边缘计算的人工智能平台适用于自主机器和其他嵌入式应用程序。该平台包括Jetson模组（外形小巧的高性能计算机）、用于加速软件的NVIDIA JetPack SDK，以及包含传感器、SDK、服务和产品的生态系统，从而加快开发速度。

NVIDIA亚太区开发者发展总监李铭告诉记者，NVIDIA边缘计算的最大特点是基于统一的架构，也就是Jetson与其他NVIDIA平台上所用的相同AI软件和云原生工作流相兼容，并能为客户提供构建软件定义的自主机器所需的性能和能效。

NVIDIA Jetson涵盖了从硬件加速到软件定义，方便用户快速验证想法。而且秉持开源开放的原则，NVIDIA构建了完善的生态系统。

李铭表示， 从硬件平台到软件解决方案、参考平台，NVIDIA与合作伙伴进行广泛适配和合作，降低应用开发成本。

从2014年产品推出到现在，NVIDIA Jetson的硬件能力不断提升，承载的软件也更加丰富，从而满足边缘应用的需求。比如第一代Jetson产品更多是聚焦计算机视觉，而现在则发展成集各种功能于一身的机器人平台。

李铭说，机器人加载的能力和完成的任务越来越多样化，其对安全的要求越来越多，性能的响应需求越来越高，所以Jetson持续迭代。“机器智能化是大势所趋，我们聚焦在对AI真正有需求的应用，丰富各种各样的场景。”

近日，NVIDIA Jetson AGX Orin 32GB量产级模组现已上市。Jetson AGX Orin开发者套件每秒能够进行275万亿次运算，并且通过NVIDIA Ampere架构GPU、新一代深度学习和视觉加速器、高速I/O以及更高的内存带宽来支持多个并发AI应用。

借助Jetson AGX Orin，客户可以使用更大和更复杂的AI模型开发解决方案，以解决自然语言理解、3D感知和多传感器融合等问题。

硬件创新

每个NVIDIA Jetson都是一个完整的系统模组（SOM），其中包括 GPU、CPU、内存、电源管理和高速接口等。不同性能、能效和外形规格的组合满足各类行业的客户所需。

李铭解释说，NVIDIA Jetson之所以能够实现性能和功耗的完美平衡，就在于CPU、GPU、DSP等加速器的科学架构设计。特别是在嵌入式系统SoC中所有数据存放在统一共享内存中，CPU、GPU和其他的硬件单元可以实现性能、功能的最大输出。

除了这些之外，NVIDIA Jetson提供了非常丰富的IO设计。为了保证达到最高的性能，Orin系列配置了高速IO，能够满足边缘侧的计算和AI的复杂处理和接入需求。

与上一代Xavier系列相比，Jetson AGX Orin能够提供高达8倍的性能提升。而Jetson Orin NX系列支持多个并发AI推理流水线的100TOPS运算能力，能够提供高达5倍的性能和两倍的CUDA核心数，以及多个传感器的高速接口支持。

同时，Jetson AGX Orin实现了硬件上的兼容性和软件的平滑升级，解决用户面临的跨代产品问题。

Jetson Nano、Jetson TX2系列、Jetson AGX Xavier系列、Jetson AGX Xavier NX系列、Jetson AGX Orin系列、Jetson Orin NX系列构成了完整的NVIDIA Jetson家族产品，让企业借助AI嵌入式边缘设备打造面向制造、物流、零售和医疗健康等领域的创新应用。

软件赋能

硬件创新是NVIDIA Jetson的一个典型特点，此外在软件方面，所有的Jetson模组均由同一软件堆栈提供支持，因此只需一次开发，即可在任意地方部署。

李铭表示，Jetson系列与NVIDIA的其他产品一样，基于CUDA统一的硬件架构，合作伙伴和开发者都可以在CUDA上进行编程获取比如AI能力，大数据能力等各种各样的能力。

这意味着我们可以将Jetson平台与NVIDIA云端平台进行打通，相应的算法可以在数据中心或者云中训练得到，然后可以无缝部署到Jetson上面，并且可以随时把数据反馈到数据中心，实现数据和算法的闭环，使得算法不断更新和优化。

在包含 NVIDIA CUDA-X 加速堆栈的JetPack SDK之上，Jetson Orin支持多个NVIDIA平台和框架，例如用于机器人技术的Isaac、用于计算机视觉的DeepStream、用于自然语言理解的Riva、使用预训练模型加速模型开发的TAO Toolkit和Metropolis，一个应用程序框架、一组开发人员工具和合作伙伴生态系统，将视觉数据和人工智能结合在一起，以提高跨行业的运营效率和安全性。

“Jetson和整个NVIDIA的AI能力紧密联系在一起，是互相连接互相推动，共同成长的一个过程。”李铭说，“不管是最后一公里的配送机器人，还是工业制造的视觉分析，我们提供了全面的软件开发平台，帮助用户快速实现自己的想法。”

生态协同

目前，超过100万名开发者和6000多家公司正在NVIDIA Jetson边缘AI和机器人计算平台上构建商业产品，创建和部署各种自主机器与边缘AI应用。

同时，拥有超过150个成员的Jetson合作伙伴生态系统不断壮大，提供广泛的支持，包括来自专门从事人工智能软件、硬件和应用程序设计服务、相机、传感器和外围设备、开发工具和开发系统的公司。

例如软件公司Seoul Robotics使用NVIDIA Jetson AGX Orin提供支持的AI计算机视觉平台实现汽车自主移动，其LV5 CTRL TWR是由用于创建GPU加速应用的NVIDIA CUDA库以及用于边缘高性能AI的NVIDIA Jetson AGX Orin模块构建的。NVIDIA GPU在云端用于全局车队路径规划。

李铭表示，未来AI与各行各业加速融合，没有一家厂商能够面对如此繁复多样的需求。NVIDIA提供了一个最大包容性的强大平台，帮助合作伙伴实现商业上的成功。“我们是开放性的，基于我们软硬件能力，与各行各业的合作伙伴一起加速边缘AI落地。例如NVIDIA与浪潮一起合作，通过AI Station实现多个边缘端点的集中化管理。”

为了赋能合作伙伴和开发者，NVIDIA推出了多种措施，包括搭建Jetson论坛社区，全球24小时支持的团队解答开发者的问题；针对初级合作伙伴的完备课程；线下workshop；加入NVIDIA Partner Network网络，专门的团队提供技术和商务的支持；每年的GTC大会为大家提供一个充分交流的平台等。

“我们愿意通过一个开放平台构建出一个开放的生态，让硬件和软件的合作伙伴找到自己的位置，互相支撑，展现自己的价值，这是我们合作伙伴非常多的一个原因，这对最终客户和开发者来说也非常重要。”李铭最后说。