前面文章介绍微软Teams会议系统、微信软件与腾讯PCG服务三个Triton推理服务器的成功案例,让大家对Triton有初步的认知,但别误以为这个软件只适合在大型的服务类应用中使用,事实上Triton能适用于更广泛的推理环节中,并且在越复杂的应用环境中就越能展现其执行成效。
在说明Triton推理服务器的架构与功能之前,我们需要先了解一个推理服务器所需要面对并解决的问题。
与大部分的服务器软件所需要的基本功能类似,一个推理服务器也得接受来自不同用户端所提出的各种要求(request)然后做出回应(response),并且对系统的处理进行性能优化与稳定性管理。
但是推理计算需要面对深度学习领域的各式各样推理模型,包括图像分类、物件检测、语义分析、语音识别等不同应用类别,每种类别还有不同神经网络算法与不同框架所训练出来的模型格式等。此外,我们不能对任务进行单纯的串行队列(queue)方式处理,这会使得任务等待时间拖得很长,影响使用的体验感,因此必须对任务进行并行化处理,这里就存在非常复杂的任务管理技巧。
下面列出一个推理服务器所需要面对的技术问题:
在了解推理服务器所需要解决的关键问题之后,接着来看看下方的Triton系统高阶架构图,就能更清楚每个板块所负责的任务与使用的对应技术。
Triton推理服务器采用属于“主从(client-server)”架构的系统,由图中的四个板块所组成:
使用这类通讯协议有以下优点:
在服务器内的代码属于系统底层机制,主要由NVIDIA系统工程师进行维护,因此只提供性能较好的C开发接口,一般应用工程师可以忽略这部分,除非您有心深入Triton系统底层进行改写;
支持多框架的文件格式并提供自定义的扩充能力,目前已支持TensorFlow的GraphDef与SavedModel格式、ONNX、PyTorch TorchScript、TensorRT、用于基于树的RAPIDS FIL模型、OpenVINO等模型文件格式,还能使用自定义的Python/C++模型格式;
将推理模型用管道形式进行管理,将一个或多个模型的预处理或后处理进行逻辑排列,并管理模型之间的输入和输出张量的连接,任何的推理请求都会触发这个模型管道。这部分还包含以下两个重点:
这是作为服务器软件的最重要工作之一,就是要将设备的计算资源充分调度,并且优化总体计算性能,主要使用以下三种技术。
Triton的后端就是执行模型的封装代码,每种支持的框架都有一个对应的后端作为支持,例如tensorrt_backend就是支持TensorRT模型推理所封装的后端、openvino_backend就是支持openvine模型推理所封装的后端,目前在Triton开源项目里已经提供大约15种后端,技术人员可以根据开发无限扩充。
要添加一个新的后台是相当复杂的过程,因此在本系列文章中并不探索,这里主要说明以下Triton服务器对各个后端的管理机制,主要是以下重点:
以上是Triton推理服务器的高级框架与主要特性的简介,如果看完本文后仍感觉有许多不太理解的部分,这是正常的现象,因为整个Triton系统集成非常多最先进的技术在内,并非朝夕之间就能掌握的。
后面的内容就要进入Triton推理服务器的环境安装与调试,以及一些基础范例的执行环节,透过这些实际的操作,逐步体验Triton系统的强大。【完】
好文章,需要你的鼓励
Google 即将为所有用户提供端到端加密 (E2EE) 电子邮件服务,包括非 Google Workspace 用户。这项功能无需 IT 管理员进行复杂配置,可作为 S/MIME 协议的替代方案。企业 Gmail 用户可向任何人发送 E2EE 邮件,接收方只需通过简单的身份验证即可查看和回复。该功能将分阶段推出,并将逐步支持所有电子邮箱。
Vodafone Idea 宣布将升级和扩展其在印度主要城市和地区的光传输网络。此次升级基于诺基亚的光交换技术,旨在满足多太比特数据增长需求,支持企业客户的量子安全服务,并提升4G和5G网络容量。诺基亚将部署先进的光学设备和技术,以提高网络效率、灵活性和可持续性。
微软即将迎来成立50周年。这家Windows巨头在半个世纪的发展历程中,经历了许多高光时刻和挫折。从MS-DOS到Windows,从Office到云服务,再到最近的人工智能投资,微软不断创新并主导着企业市场。尽管在移动领域失利,但其在PC和生产力软件方面的地位依然稳固。50年来,微软的产品和决策深刻影响了用户的日常生活和工作方式。
一项新调查显示,72% 的 Z 世代不信任基于人工智能的安全解决方案,成为对数字安全最为怀疑的一代。这种不信任显得尤为讽刺,因为 Z 世代成长于科技主导的世界,却对 AI 控制安全持保留态度。调查探讨了 Z 世代怀疑态度的根源,以及如何通过教育和透明度来解决信任问题。