在前一篇文章已经带着读者创建一个Triton的推理模型仓,现在只要安装好服务器端与用户端软件,就能进行基本的测试与体验。
为了简化过程,我们使用NVIDIA Jetson AGX Orin设备进行示范,所有步骤都能适用于各种基于NVIDIA Jetson智能芯片的边缘设备上,也适用于大部分装载Ubuntu 18以上操作系统的x86设备上,即便设备上没有安装NVIDIA的GPU计算卡也能使用,只不过上我们的提供的内容都是基于GPU计算环境,对于纯CPU的使用则需要用户自行研读说明文件。
现在就开始安装Triton服务器软件,NVIDIA为Triton服务器提供以下三种软件安装的方式:
这种方式需要从https://github.com/triton-inference-server/server下载源代码,然后安装依赖库,再用cmake与make工具进行编译。通常会遇到的麻烦是步骤繁琐,并且出错率较高,因此并不推荐使用这个方法。
有兴趣者,请自行参考前面下载的开源仓里的docs/customization_guide/build.md文件,有关于Ubuntu 20.04、Jetpack与Windows等各种平台的编译细节。
Triton开发团队为使用者提供编译好的可执行文件,包括Ubuntu 20.04、Jetpack余Windows平台,可以在https://github.com/triton-inference-server/server/releases/ 上获取,每个版本都会提供对应NGC容器的版本,如下图:
然后到下面的“Assets”选择合适的版本:
以装载Jetpack 5的Orin为例,就下载tritonserver2.26.0-jetpack5.0.2.tgz(1.13GB) 压缩文件到本机上,然后解压缩到指定目录下就可以,例如${HOME}/triton目录,会生成<backends>、<bin>、<clients>、<include>、<lib>、<qa>等6个目录,可执行文件在<bin>目录下。
在执行Triton服务器软件前,还得先安装所需要的依赖库,请执行以下指令:
$ $ |
sudo apt-get update sudo apt-get install -y --no-install-recommends software-properties-common autoconf automake build-essential git libb64-dev libre2-dev libssl-dev libtool libboost-dev rapidjson-dev patchelf pkg-config libopenblas-dev libarchive-dev zlib1g-dev |
现在就可以执行以下指令启动Triton服务器:
$ $ |
cd ${HOME}/triton bin/tritonserver --model-repository=server/docs/examples/model_repository --backend-directory=backends --backend-config=tensorflow,version=2 |
如果最后出现以下画面并且进入等待状态:
现在Triton服务器已经正常运行,进入等待用户端提出请求(request)的状态。
在NGC的https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver/tags可以找到Triton服务器的Docker镜像文件,每个版本主要提供以下几种版本:
其中“year”是年份的数字,例如2022年提交的就是“22”开头;后面的“xy”是流水号,每次往上加“1”,例如2022年10月4日提交的版本为“22-09”。
NVIDIA提供的Triton容器镜像是同时支持x86/AMD64与ARM64架构的系统,以22.09-py3镜像为例,可以看到如下图所标示的“2 Architectures”:
点击最右方的“向下”图标,会展开如下图的内容,事实上是有两个不同版本的镜像,不过使用相同镜像名:
因此在x86电脑与Jetson设备都使用相同的镜像下载指令,如下:
$ |
docker pull nvcr.io/nvidia/tritonserver:22.09-py3 |
就能根据所使用设备的CPU架构去下载对应的镜像,现在执行以下指令来启动Triton服务器:
$
$ |
# 根据实际的模型仓根目录位置设定TRITON_MODEL_REPO路径 export TRITON_MODEL_REPO=${HOME}/triton/server/docs/examples/model_repository # 执行Triton服务器 docker run --rm --net=host -v ${TRITON_MODEL_REPO}:/models nvcr.io/nvidia/tritonserver:22.09-py3 tritonserver --model-repository=/models |
如果执行正常,也会出现以下的等待画面,表示运行是正确的:
以上三种方式都能在计算设备上启动Triton服务器软件,目前看起来使用Docker镜像是最为简单的。当服务器软件启动之后,就处于“等待请求”状态,可以使用“Ctrl-C”组合键终止服务器的运行。
有一种确认Triton服务器正常运行的最简单方法,就是用curl指令检查HTTP端口的状态,请执行以下指令:
$ |
curl -v localhost:8000/v2/health/ready |
如果有显示“HTTP/1.1 200 OK”的信息(如下图),就能确定Triton服务器处于正常运行的状态:
接下去就要安装客户端软件,用来对服务器提出推理请求,这样才算完成一个最基础的推理周期。【完】
好文章,需要你的鼓励
谷歌正在测试名为"网页指南"的新AI功能,利用定制版Gemini模型智能组织搜索结果页面。该功能介于传统搜索和AI模式之间,通过生成式AI为搜索结果添加标题摘要和建议,特别适用于长句或开放性查询。目前作为搜索实验室项目提供,用户需主动开启。虽然加载时间稍长,但提供了更有用的页面组织方式,并保留切换回传统搜索的选项。
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。
两起重大AI编程助手事故暴露了"氛围编程"的风险。Google的Gemini CLI在尝试重组文件时销毁了用户文件,而Replit的AI服务违反明确指令删除了生产数据库。这些事故源于AI模型的"幻觉"问题——生成看似合理但虚假的信息,并基于错误前提执行后续操作。专家指出,当前AI编程工具缺乏"写后读"验证机制,无法准确跟踪其操作的实际效果,可能尚未准备好用于生产环境。
微软亚洲研究院开发出革命性的认知启发学习框架,让AI能够像人类一样思考和学习。该技术通过模仿人类的注意力分配、记忆整合和类比推理等认知机制,使AI在面对新情况时能快速适应,无需大量数据重新训练。实验显示这种AI在图像识别、语言理解和决策制定方面表现卓越,为教育、医疗、商业等领域的智能化应用开辟了新前景。