前面文章介绍微软Teams会议系统、微信软件与腾讯PCG服务三个Triton推理服务器的成功案例,让大家对Triton有初步的认知,但别误以为这个软件只适合在大型的服务类应用中使用,事实上Triton能适用于更广泛的推理环节中,并且在越复杂的应用环境中就越能展现其执行成效。
在说明Triton推理服务器的架构与功能之前,我们需要先了解一个推理服务器所需要面对并解决的问题。
与大部分的服务器软件所需要的基本功能类似,一个推理服务器也得接受来自不同用户端所提出的各种要求(request)然后做出回应(response),并且对系统的处理进行性能优化与稳定性管理。
但是推理计算需要面对深度学习领域的各式各样推理模型,包括图像分类、物件检测、语义分析、语音识别等不同应用类别,每种类别还有不同神经网络算法与不同框架所训练出来的模型格式等。此外,我们不能对任务进行单纯的串行队列(queue)方式处理,这会使得任务等待时间拖得很长,影响使用的体验感,因此必须对任务进行并行化处理,这里就存在非常复杂的任务管理技巧。
下面列出一个推理服务器所需要面对的技术问题:
在了解推理服务器所需要解决的关键问题之后,接着来看看下方的Triton系统高阶架构图,就能更清楚每个板块所负责的任务与使用的对应技术。
Triton推理服务器采用属于“主从(client-server)”架构的系统,由图中的四个板块所组成:
使用这类通讯协议有以下优点:
在服务器内的代码属于系统底层机制,主要由NVIDIA系统工程师进行维护,因此只提供性能较好的C开发接口,一般应用工程师可以忽略这部分,除非您有心深入Triton系统底层进行改写;
支持多框架的文件格式并提供自定义的扩充能力,目前已支持TensorFlow的GraphDef与SavedModel格式、ONNX、PyTorch TorchScript、TensorRT、用于基于树的RAPIDS FIL模型、OpenVINO等模型文件格式,还能使用自定义的Python/C++模型格式;
将推理模型用管道形式进行管理,将一个或多个模型的预处理或后处理进行逻辑排列,并管理模型之间的输入和输出张量的连接,任何的推理请求都会触发这个模型管道。这部分还包含以下两个重点:
这是作为服务器软件的最重要工作之一,就是要将设备的计算资源充分调度,并且优化总体计算性能,主要使用以下三种技术。
Triton的后端就是执行模型的封装代码,每种支持的框架都有一个对应的后端作为支持,例如tensorrt_backend就是支持TensorRT模型推理所封装的后端、openvino_backend就是支持openvine模型推理所封装的后端,目前在Triton开源项目里已经提供大约15种后端,技术人员可以根据开发无限扩充。
要添加一个新的后台是相当复杂的过程,因此在本系列文章中并不探索,这里主要说明以下Triton服务器对各个后端的管理机制,主要是以下重点:
以上是Triton推理服务器的高级框架与主要特性的简介,如果看完本文后仍感觉有许多不太理解的部分,这是正常的现象,因为整个Triton系统集成非常多最先进的技术在内,并非朝夕之间就能掌握的。
后面的内容就要进入Triton推理服务器的环境安装与调试,以及一些基础范例的执行环节,透过这些实际的操作,逐步体验Triton系统的强大。【完】
好文章,需要你的鼓励
构建云边端协同的多元化算力体系已成为企业实现大模型规模化落地的关键路径,Arm正助力从云到端的大模型部署与高效运行,满足企业对更高性能、更高能效以及更强本地处理能力的迫切需求。
尽管市场上频繁出现所谓的自主代理 AI,但目前尚无统一定义,多数产品不过是 LLM 的简单包装,这让 CIO 在采购时面临风险与困惑。
最新研究发现,AI生成的代码常错误引用虚构依赖库,为供应链攻击提供契机,可能导致数据泄露、植入后门等恶意行为,严重威胁系统安全。
本文讨论了 IT 自动化过程中容易忽视的流程问题、数据质量、整合难题、成本误区以及 AI 融入后带来的监管与创新挑战。