蔚来NADP+NVIDIA Triton，搭建稳定高效的推理平台

在近日举行的 GTC 大会上，蔚来 AI 平台负责人白宇利带来非常有价值的分享，他首次对外透露了蔚来自研的全栈式自动驾驶系统（NAD）的部署和开发情况，同时也将蔚来自动驾驶研发平台（NADP）这个神秘的“Peta Factory”带到了公众视野中。

据了解，NADP 是服务于蔚来自动驾驶核心业务方向的研发平台，用于开发 NAD 功能。以“Peta”为名是因为每辆车每天能生成 55 petabit 数据（1 petabit = 10^6 gigabit = 10^9 megabit = 10^15 bits），而 NADP 是所有流程、工作流、数据以及底层软硬件的组合。NADP 能够以一站式平台管理大量复杂的 AI 应用，并将模型开发效率提高 20 倍，从而缩短自动驾驶汽车的上市周期，开发出更新、更快的架构。

在模型训练、测试和部署的过程中，为了确保新改进能够切实地解决相应问题，且不会引发任何新问题， NADP 需要执行 10 万项推理任务，包括数据挖掘、仿真和回归测试。经过众多方案的对比和筛选，蔚来选用了 NVIDIA Triton 推理服务器作为核心组件，构建了 NADP 的高性能推理服务。

NVIDIA Triton 推理服务器是 NVIDIA AI 平台的一部分，它是一款开源推理服务软件，可助力标准化模型的部署和执行，并在生产环境中提供快速且可扩展的 AI。

Triton 推理服务器可助力团队在任意基于 GPU 或 CPU 的基础设施上部署、运行和扩展任意框架中经过训练的 AI 模型，进而精简 AI 推理。同时，AI 研究人员和数据科学家可在不影响生产部署的情况下，针对其项目自由选择合适的框架。它还帮助开发者跨云、本地、边缘和嵌入式设备提供高性能推理。

正如白宇利在分享中提到：“我们基于 NVIDIA Triton 推理服务器构建了高性能推理服务。此服务非常适用于 NADP，并可轻松集成模型仓库、工作流、Jupyter、Prometheus 和许多其他组件，从而简化 AI 推理。Triton 让编排和扩展变得更轻松，还能将推理速度提高至 6 倍，并可节省 24% 的资源。”

蔚来基于 NVIDIA Triton 搭建的推理服务平台，在数据挖掘业务场景下，通过服务器端模型前处理和多模型 DAG 式编排，GPU 资源平均节省 24%；在部分核心 pipeline上，吞吐能力提升为原来的 5 倍，整体时延降低为原来的 1/ 6。

Triton 在设计之初，就融入了云原生的设计思路，为后面逐步围绕 Triton 搭建完整的云原生平台性推理解决方案提供了相当大的便利。

作为 NADP 推理平台的核心组件，Triton 与 NADP 的各个组件形成了一套完整的推理一站式解决方案。从集成效率、高性能、易用性、高可用四方面，在 NADP 推理平台中提供助力。

目前，NADP 数据挖掘业务下的相关模型预测服务已经全部迁移至 Triton 推理服务器，为上百个模型提供了高吞吐预测能力。同时在某些任务基础上，通过自实现前处理算子、前后处理服务化、BLS 串联模型等手段，将一些模型任务合并起来，极大的提升了处理效率。

NVIDIA Triton 推理服务器支持所有主要模型框架（ TensorFlow、PyTorch、TensorRT、XGBoost、ONNX、OpenVINO、Python 等），可用于在 x86 和 Arm CPU、NVIDIA GPU 和 AWS Inferentia 上运行模型。

目前，NVIDIA Triton 正在被全世界各行各业数以千计的组织使用，用于解决人工智能推理挑战。包括：阿里云、Amazon Elastic Kubernetes Service (EKS)、Amazon Elastic Container Service (ECS)、Amazon SageMaker、Google Kubernetes Engine (GKE)、Google Vertex AI、HPE Ezmeral、Microsoft Azure Kubernetes Service (AKS) 和 Azure Machine Learning 都在使用 NVIDIA Triton进行AI推理和模型部署。

更多详情，请查看NVIDIA开发者博客，查看完整版案例介绍《NADP + Triton搭建稳定高效的推理平台》。

https://developer.nvidia.com/zh-cn/blog/nadp-triton-recommender-system/?ncid=so-wech-653356-vt03#cid=av01_so-wech_zh-cn