Triton推理服务器01-应用概论

推理识别是人工智能最重要的落地应用，其他与深度学习相关的数据收集、标注、模型训练等工作，都是为了得到更好的最终推理性能与效果。

几乎每一种深度学习框架都能执行个别的推理工作，包括Tensorflow、Pytorch、MXNet等通用型框架与YOLO专属的Darknet框架，此外还有ONNX开发推理平台、NVIDIA TensorRT加速推理引擎，也提供推理相关的C/C++与Python开发接口，这是大部分技术人员所熟悉的方法。

在垂直应用方面，NVIDIA的DeepStream智能分析工具是非常适合用在种类固定且需要长期统计分析的场景，包括各种交通场景的人/车流量分析、工业流水线质量检测等应用，并且在早期视觉（Visualization）类推理功能之上，再添加对话（Conversation）类推理功能，让使用范围更加完整。

上述的推理方式通常适合在识别固定种类与固定输入源的使用场景，在交通、工业自动化领域、无人设备等领域的使用是比较普及。

但是这种方式并不适合在网络相关的服务类应用中使用，包括在线的产品推荐、图像分类、聊天机器人等应用，因为在线服务需要同时面对未知数量与类型的数据源，并且透过HTTP协议进行数据传输的延迟问题，也是严重影响用户体验感的因素，这是绝大部分网路服务供应商要导入AI智能识别技术所面临的共同难题。

NVIDIA Triton推理服务器的最大价值，便是为服务类智能应用提供一个完整的解决方案，因此首先需要解决以下的三大关键问题：

1. 高通用性：
   1. 广泛支持多种计算处理器：包括具备NVIDIA GPU的x86与ARM CPU设备，也支持纯CPU设备的推理计算；
   2. 广泛支持各种训练框架的文件格式：包括TensorFlow 1.x/2.x、PyTorch、ONNX、TensorRT、RAPIDS FIL（用于XGBoost、Scikit-learn Random Forest、LightGBM）、OpenVINO、Python等；
   3. 广泛支持各种模型种类：包括卷积神经网络 (CNN)、循环神经网络 (RNN)、决策树、随机森林和图神经网络等算法；
2. 部署便利：
   1. 可在横向扩展的云或数据中心、企业边缘，甚至 NVIDIA Jetson 等嵌入式设备上运行；
   2. 支持用于AI推理的裸机和虚拟化环境，包括VMware vSphere与基于Docker技术的Kubernetes管理机制；
   3. 可托管于多种人工智能云平台，包括Amazon SageMaker、Azure ML、Google Vertex AI、阿里巴巴AI、腾讯TI-EMS等平台；
3. 性能优化：
   1. 动态批量处理：推理优化的一个因素是批量大小，或者您一次处理多少个样本，GPU以更高的批量提供高吞吐量。然而，对于实时应用程序，服务的真正限制不是批量大小甚至吞吐量，而是为最终客户提供出色体验所需的延迟。
   2. 模型并发执行：GPU是能够同时执行多个工作负载的计算设备，NVIDIA Triton 推理服务器通过在GPU上同时运行多个模型来最大限度地提高性能并减少端到端延迟，这些模型可以是相同的，也可以是来自不同框架的不同模型。GPU 内存大小是同时运行模型数量的唯一限制，这会影响GPU利用率和吞吐量。

以上是NVIDIA Triton推理服务器的基本特性说明，要满足上面所列的特性，是具备相对复杂的内容，这是本系列文章所要为读者逐一探索的内容，不过在讲解技术内容之前，我们可以先看看有哪些比较具有代表性成功案例，能让大家对于Triton推理服务器的使用场景有更进一步的了解。

• 案例1：微软Teams会议系统使用Triton提升生成的实时字幕和转录性能

微软Teams是全球沟通和协作的重要工具，每月有近2.5亿活跃用户，其Azure认知服务提供28种语言的字幕和转录，实时字幕功能帮助与会者实时跟踪对话，转录功能方便与会者在日后回顾当时的创意或回看未能参与的会议，实时字幕对聋哑人、听力障碍者，或者异国与会者特别有用。

底层语音识别技术作为认知服务中的一个API，开发人员可以使用它定制和运行自己的应用程序，例如客服电话转录、智能家居控制或为急救人员提供AI助手。认知服务会生成Teams的转录和字幕，将语音转换为文本，并识别说话人。同时也能够识别专业术语 、姓名和其他会议背景，提高字幕的准确性。

微软Teams首席项目经理Shalendra Chhabra表示：“这样的AI模型非常复杂，需要数千万个神经网络参数才能识别几十种不同的语言。但模型越大，就越难以经济高效地实时运行。”

为了提高服务质量，微软使用NVIDIA Triton开源推理服务软件，来帮助Teams使用认知服务优化语音识别模型，以及认知服务所支持的高度先进语言模型，在极低的延迟状态下提供高度准确、个性化的语音转文本结果，同时可以保证运行这些语音转文本模型的NVIDIA GPU充分发挥计算资源，在消耗更少计算资源的同时为客户提供更高的吞吐量，进而降低成本。

NVIDIA GPU和Triton软件能够帮助微软，在不牺牲低延迟的情况下，通过强大的神经网络，实现高准确性，确保语音-文本的实时转换，当启用转录功能时，与会者可以在会议结束后轻松补上错过的内容。

Triton推理服务器有助于简化AI模型部署并解锁高性能推理，用户甚至可以为自己的应用开发自定义后端。下面三种关键功能，是协助微软将Teams的字幕和转录功能扩展到更多会议和用户的效能：

1. 流推理：新型流推理功能—通过跟踪语音上下语境，提高延迟、敏感性字幕的准确度，协助Azure认知服务合作定制语音转文本的应用程序。
2. 动态批量处理：批量大小指神经网络同时处理的输入样本数量，通过Triton的动态批量处理功能，单项推理请求被自动组合成一个批次，因此能够在不影响模型延迟的情况下更好地利用GPU资源。
3. 并发模型执行：实时字幕和转录需要同时运行多个深度学习模型，Triton使开发人员能够在单个GPU上同时完成这些工作，包括使用不同深度学习框架的模型。

• 案例2：Triton助力微信加速视觉应用，提高可靠性

本案例中，通过NVIDIA的GPU执行Triton推理服务器与TensorRT推理加速引擎， 帮助微信的二维码光学识别（OCR）计算降低46%时间，并将系统的失败率降低81%，同时减少78%的服务器使用数量。

腾讯微信是一款跨平台的通讯工具，支持通过手机网络发送语音、图片、视频和文字等。截至2021年6月，微信在全球拥有超过12亿活跃用户，是国内活跃用户最多的社交软件。

微信识物是一款主打物品识别的AI产品，通过相机拍摄物品，更高效、更智能地获取信息。2020年微信识物拓展了更多识别场景，上线了微信版的图片搜索，打开微信扫一扫，左滑切换到“识物”功能，对准想要了解的物品正面，可以获取对应的物品信息，包括物品百科、相关资讯、相关商品。

2021年1月，微信发布的8.0版本更新支持图片文字提取的功能，用户在聊天界面和朋友圈中长按图片就可以提取图片中文字，然后一键转发、复制或收藏。

在识物的过程包含检测、图像召回、信息提炼等环节，其中二维码扫描的使用频率也是非常高，主要包括识别和检测，这两种应用都有非常大的计算量。但原本使用Pytorch进行模型的推理时，遇到以下三大问题：

1. 请求的延迟很大，影响用户体验感；
2. 显存占用很大，单张NVIDIA T4 GPU卡能部署的模型数比较少，导致推理请求的并发数上不去，请求失败的概率太高，只能通过增加机器的方式来提高并发能力，业务部署成本较高。
3. 使用的模型经常变化，而业务需要更换后的模型需要能够快速地加速和上线部署。

为了解决上述问题，微信团队使用Triton推理服务器结合TensorRT加速推理器的综合方案，主要技术内容如下：

1. 通过使用TensorRT对微信识物和OCR的模型进行加速，在都使用FP32的情况下，比Pytorch的延迟降低50%左右；
2. 在OCR的识别和检测阶段，使用TensorRT结合NVIDIA T4 GPU 的FP16 Tensor Core，在保证精度的前提下，识别的延迟降低50%、检测的延迟降低20%；
3. 在微信识物的分类和检测任务中，通过使用NVIDIA T4 GPU 的int8 Tensor Core并结合QAT，在满足精度要求的前提下，进一步大幅提升了性能；
4. 通过使用FP16和int8 低精度模式，在大幅降低推理延迟的同时，大大减少了显存的占用，在FP16模式下，单模型显存占用仅占FP32模式的40%–50%， 而在int8模式下，单模型显存占用仅占FP32模式的30%左右。在提高单张T4卡上部署的模型数量的同时，大幅提高了单GPU的推理请求并发能力；
5. Triton的动态批量处理（dynamic batch）和多实例等特性，帮助微信将在满足延迟要求的同时，提高了系统整体的并发能力，将系统失败降低了81%；
6. TensorRT对个别模型得到推理的快速，Triton则对加速后的模型进行快速的部署，满足了业务对修改后的模型进行快速部署的需求，也大大减少工程人员的工作量；

通过使用NVIDIA的TensorRT对微信识物和OCR的模型进行加速，在降低单次推理延迟50%以上的同时，节约了多达64%的显存。结合Triton的动态批量处理和多实例的功能，OCR的整体时延降低了46%，系统失败率降低了81%。大大提高了用户的体验，并且服务器的数量减少了多达78%，极大降低了服务的成本。

• 案例3：腾讯PCG使用Triton 加速在线推理，提高设备效能

腾讯平台与内容事业群（简称 腾讯PCG）负责公司互联网平台和内容文化生态融合发展，整合QQ软件、QQ空间等社交平台，和应用宝、浏览器等流量平台，以及新闻资讯、视频、体育、直播、动漫、影业等内容业务，推动IP跨平台、多形态发展，为更多用户创造海量的优质数字内容体验。

腾讯PCG机器学习平台部旨在构建和持续优化符合PCG技术中台战略的机器学习平台和系统，提升PCG机器学习技术应用效率和价值，建设业务领先的模型训练系统和算法框架，提供涵盖数据标注、模型训练、评测、上线的全流程平台服务，实现高效率迭代，在内容理解和处理领域，输出业界领先的元能力和智能策略库。

这个机器学习平台服务于PCG所有业务产品，面对上述所提到的综合需求，有以下三大挑战： 

1. 业务繁多，场景复杂：
   1. 业务开发语言包括C++与Python；
   2. 模型格式繁多，包括ONNX、Pytorch、TensorFlow、TensorRT等；
   3. 模型预处理涉及图片下载等网络io；
   4. 多模型融合流程比教复杂，涉及循环调用；
   5. 支持异构推理；
2. 模型推理结果异常时，难以便利地调试定位问题；
3. 需要与公司内现有协议/框架/平台进行融合。

基于以上挑战，腾讯PCG选择了采用NVIDIA 的Triton推理服务器，以解决新场景下模型推理引擎面临的挑战，在提升用户研效的同时，也大幅降低了服务成本。

NVIDIA的Triton推理服务器是一款开源软件，对于所有推理模式都可以简化在任一框架中以及任何GPU或CPU上的运行方式，从而在生产环境中使用推理计算，并且支持多模型ensemble，以及TensorFlow、PyTorch、ONNX等多种深度学习模型框架，可以很好的支持多模型联合推理的场景，构建起视频、图片、语音、文本整个推理服务过程，大大降低多个模型服务的开发和维护成本。

通过将Triton编译为动态链接库，可以方便地链入公司内部框架，对接公司的平台治理体系，符合C语言规范的API也极大降低了用户的接入成本，借助Python后端和自定义后端，用户可以自由选择使用C++或Python语言进行二次开发。

NVIDIA DALI是GPU加速的数据增强和图像加载库，使用Triton的DALI后端可以替换掉原来的图片解码、缩放等操作，Triton的FIL后端可以替代Python XGBoost模型推理，进一步提升服务端推理性能。

借助NVIDIA Triton推理框架，配合DALI/FIL/Python等后端与TensorRT，整体推理服务的吞吐能力最大提升 6 倍，延迟最大降低 40%。帮助腾讯PCG各业务场景中，以更低的成本构建了高性能的推理服务，同时更低的延迟降低了整条系统链路的响应时间，优化了用户体验，也降低了20%-66%总成本。

透过以上三个成功案例，就能很明显看出，Triton推理服务器在面对复杂的智能识别应用场景时，能发挥非常有效的整合功能，特别是模型来自不同训练平台时，以及面对不同前端开发语言时，更能体现其便利性。

在后面的文章会带着大家，先从宏观的角度来了解Triton推理服务器的应用架构以及所需要的配套资源，接着搭建Triton的使用环境，包括建立模型仓、安装服务端/用户端软件，然后执行一些实用性强的基础范例，以及结合NVIDIA的TensorRT与DeepStream等推理工具，让更多开发人员能利用Triton整合更多AI推理资源。【完】