在前面的文章中,已经带着读者创建好Triton的模型仓、安装并执行Triton推理服务器软件,接下来就是要安装Triton用户端软件,对服务器提出推理请求(requests),才能触发服务器执行推理计算的任务。
由于用户端的功能是在向服务器提出推理需求,本身并不参与计算,因此不用考虑设备性能或者是否装载GPU设备,即便是一台最基本的Windows上网本都能使用,只要安装合适的用户端软件就可以。
为了适应更多种使用场景,Triton用户端支持C++/Python/Java/GO等通用性高的在编程语言,底层还支持HTTP/REST与gRPC通讯协议,甚至还支持SSL/TLS加密选项,以及多种在线压缩(on-wire compression)算法,内容是相当丰富并且多元化,完整的内容可以在https://github.com/triton-inference-server/client开源仓里找到,本文只先提供Python用户端的部分。
与服务器的安装方式类似,NVIDIA提供以下4种安装方式:
这种方式需要从https://github.com/triton-inference-server/client下载源代码,执行步骤在https://github.com/triton-inference-server/client#build-using-cmake环节,通常会遇到的麻烦是步骤繁琐,并且出错率较高,因此并不推荐使用这个方法。
Triton开发团队为使用者提供编译好的可执行文件,包括Ubuntu 20.04、Jetpack余Windows平台,可以在https://github.com/triton-inference-server/server/releases/ 上获取,每个版本都会提供对应NGC容器的版本,如下图:
然后到下面的“Assets”选择合适的版本:
以装载Jetpack 5的Orin为例,就下载tritonserver2.26.0-jetpack5.0.2.tgz(1.13GB) 压缩文件到本机上,然后解压缩到指定目录下就可以,例如${HOME}/triton目录,会生成<backends>、<bin>、<clients>、<include>、<lib>、<qa>等6个目录,用户端的可执行文件在<clients/bin>目录下,目前有将近30个终端功能。
现在要使用image_client这个最基础的识别终端软件,对qa/images/mug.jpg(如下图)这张图片进行推理。
请先确认Triton服务器软件已经启动并且处于等待请求的状态,现在请开启另一个命令终端,输入以下指令提交推理请求:
$ $ |
cd ${HOME}/triton ./clients/bin/image_client -m densenet_onnx -c 3 -s INCEPTION qa/images/mug.jpg |
这道指令使用clients/bin/image_client终端,请求服务器使用densenet_onnx推理模型,对qa/images/mug.jpg(图下图)进行识别。这里的参数“-c 3”是要求识别的分类最多可以到3项,指令执行结果如下,表示正确识别图像的3个可能分类:
其他终端软件会在后面文章中说明。
在安装Triton服务器软件一文中已经提过,可以在NGC服务器上可以找到Triton的相关镜像,其中year-xy-py3-sdk里就有提供用户端软件。这里同样在Jetson AGX Orin上用22.09-py3-sdk镜像做示范,请先执行以下指令下载这个镜像并进入这个容器:
$ $ |
docker pull nvcr.io/nvidia/tritonserver:22.09-py3-sdk docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:22.09-py3-sdk |
进入容器之后,执行以下指令进行图像推理任务:
$ |
./install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION ./images/mug.jpg |
执行结果应该会看到如下截屏的内容,表示在这里对Triton服务器提出的推理请求,得到正确的计算结果。
同样的,在容器内install/bin目录下也有将近30个编译好的终端可执行文件,内容与前一项压缩文件所提供的内容是一致的,在下一篇文章中进行说明。
由于Python是目前在深度学习领域中最重要的编程语言之一,NVIDIA为Triton提供可直接安装的Python库,只要执行以下指令就能轻松安装:
$ |
pip3 install tritonclient[all] attrdict -i https://pypi.tuna.tsinghua.edu.cn/simple |
这个过程会安装以下内容:
如果您在前面下载第2部分的压缩文件并且解压缩,在该目录之下的clients/python里就提供30多个Triton的Python用户端脚本;如果没有下载前面的压缩文件,现在可以之下以下指令去复制Triton项目的client开源仓:
$ |
git clone https://github.com/triton-inference-server/client |
然后在client开源仓下的src/python/examples里有30多个Triton的Python用户端脚本。
现在进到Python用户端脚本的目录里,执行以下指令:
$ |
python3 image_client.py -m inception_graphdef -s INCEPTION ${HOME}/triton/server/qa/images/mug.jpg |
执行后会显示如下的结果:
得到推理的结果为“COFEE MUG”为正确的,表示Triton的Python用户端使用环境是正确的。
以上介绍4种安装Triton用户端软件的方式,本文只使用image_client这个最简单的图像分类用户端工具,另外还有几个比较重要的用户端工具,后面会有针对性的深入讲解与示范。【完】
好文章,需要你的鼓励
Foodora 与 Tele2 合作,在瑞典斯德哥尔摩地区展开无人机和机器人配送试点。该项目旨在利用 5G 和物联网技术,实现自动化送餐服务。Foodora 计划到 2025 年底在瑞典和挪威推出商业化地面机器人配送,2026 年引入无人机服务,以提高配送效率并扩大北欧市场份额。
政府启动新年度地平线计划支持行动,加强与欧洲、加拿大和韩国的研究合作。该计划为英国研究人员和创新者提供资助,支持医疗、绿色能源和人工智能等领域的项目研发。政府将举办路演活动、组织代表团出访,并提供资金支持,鼓励更多英国企业和研究人员参与这一欧洲科研合作平台,推动国家创新发展。
上周,AWS全力拥抱了Iceberg。对于开发人员来说近乎无处不在的存储容器S3 Buckets又多了一层。
纳斯达克100指数在2024年取得27.0%的回报率,延续了2023年53.8%的强劲表现。自2023年初以来,该指数累计上涨95.3%,创下自1998-1999年274.2%涨幅以来的第二高两年期表现。在人工智能、量子计算等科技主题的推动下,五家公司的股票表现尤为突出,它们分别是:AppLovin (APP)、Palantir (PLTR)、IonQ (IONQ)、Reddit (RDDT) 和 Astera Labs (ALAB)。这些公司在收入增长、利润率提升以及现金流改善等方面都展现出色的业绩表现,充分反映了科技行业,特别是人工智能领域的蓬勃发展态势。