前面两篇文章,已经将Triton的“无状态模型”、“有状态模型”与标准调度器的动态批量处理器与序列批量处理器的使用方式,做了较完整的说明。
大部分的实际应用都不是单纯的推理模型就能完成服务的需求,需要形成前后关系的工作流水线。例如一个二维码扫描的应用,除了需要第一关的二维码识别模型之外,后面可能还得将识别出来的字符传递给语句识别的推理模型、关键字搜索引擎等功能,最后找到用户所需要的信息,反馈给提出需求的用户端。
本文的内容要说明Triton服务器形成工作流水线的“集成推理”功能,里面包括“集成模型(ensemble model)”与“集成调度器(ensemble scheduler)”两个部分。下面是个简单的推理流水线示意图,目的是对请求的输入图像最终反馈“图像分类”与“语义分割”两个推理结果:
当接收到集成模型的推断请求时,集成调度器将:
整个流水线使用3个模型,并进行以下三个处理步骤:
在执行过程中,推理服务器必须支持以下的功能,才能将多种推理模型集成一个或多个工作流水线,去执行完整的工作流程:
为了实现的推理流水线功能,Triton服务器使用集成模型与集成调度器的配合,来完成这类工作流水线的搭建管理。接着就执行以下步骤来创建一个流水线所需要的配套内容:
无论工作流水线中调用多少个模型,Triton服务器都将这样的组合视为一个模型,与其他模型配置一样,需要定义输入与输出节点的张量类型与尺度。
以上面实示例图中的要求,这个集成模型有一个名为“IMAGE”的输入节,与两个名为“CLASSIFICATION”与“SEGMENTATION”的输出节点,至于数据类型与张量维度内容,就得根据实际使用的模型去匹配。这部分配置的参考内容如下:
name: "ensemble_model" platform: "ensemble" max_batch_size: 1 input [ { name: "IMAGE" data_type: TYPE_STRING dims: [ 1 ] } ] output [ { name: "CLASSIFICATION" data_type: TYPE_FP32 dims: [ 1000 ] }, { name: "SEGMENTATION" data_type: TYPE_FP32 dims: [ 3, 224, 224 ] } ] |
从这个内容中可以看出,Triton服务器将这个集成模型视为一个独立模型。
这部分使用“ensemble_scheduling”来调动集成调度器,将使用到模型与数据形成完整的交互关系。
在上面示例图中,灰色区块所形成的工作流水线中,使用到image_prepoecess_model、classification_model、segmentation_model三个模型,以及preprocessed_image数据在模型中进行传递。
下面提供这部分的范例配置内容,一开始使用“ensemble_scheduling”来调用集成调度器,里面再用“step”来定义模组之间的执行关系,透过模型的“input_map”与“output_map”的“key:value”对的方式,串联起模型之间的交互动作:
ensemble_scheduling { step [ { model_name: "image_preprocess_model" model_version: -1 input_map { key: "RAW_IMAGE" value: "IMAGE" } output_map { key: "PREPROCESSED_OUTPUT" value: "preprocessed_image" } }, { model_name: "classification_model" model_version: -1 input_map { key: "FORMATTED_IMAGE" value: "preprocessed_image" } output_map { key: "CLASSIFICATION_OUTPUT" value: "CLASSIFICATION" } }, { model_name: "segmentation_model" model_version: -1 input_map { key: "FORMATTED_IMAGE" value: "preprocessed_image" } output_map { key: "SEGMENTATION_OUTPUT" value: "SEGMENTATION" } } ] } |
这里简单说明一下工作流程:
完成以上的步骤,就能用集成模型与集成调度器的搭配,来创建一个完整的推理工作流任务,相当简单。
不过这类集成模型中,还有以下几个需要注意的重点:
总的来说,Triton服务器提供的集成功能还是相对容易理解与操作的,只要大家留意模型之间所传递的数据张量格式与尺度,就能轻松搭建起这样的推理工作流,去面对实际环境中更多变的使用需求。【完】
好文章,需要你的鼓励
Google 即将为所有用户提供端到端加密 (E2EE) 电子邮件服务,包括非 Google Workspace 用户。这项功能无需 IT 管理员进行复杂配置,可作为 S/MIME 协议的替代方案。企业 Gmail 用户可向任何人发送 E2EE 邮件,接收方只需通过简单的身份验证即可查看和回复。该功能将分阶段推出,并将逐步支持所有电子邮箱。
Vodafone Idea 宣布将升级和扩展其在印度主要城市和地区的光传输网络。此次升级基于诺基亚的光交换技术,旨在满足多太比特数据增长需求,支持企业客户的量子安全服务,并提升4G和5G网络容量。诺基亚将部署先进的光学设备和技术,以提高网络效率、灵活性和可持续性。
微软即将迎来成立50周年。这家Windows巨头在半个世纪的发展历程中,经历了许多高光时刻和挫折。从MS-DOS到Windows,从Office到云服务,再到最近的人工智能投资,微软不断创新并主导着企业市场。尽管在移动领域失利,但其在PC和生产力软件方面的地位依然稳固。50年来,微软的产品和决策深刻影响了用户的日常生活和工作方式。
一项新调查显示,72% 的 Z 世代不信任基于人工智能的安全解决方案,成为对数字安全最为怀疑的一代。这种不信任显得尤为讽刺,因为 Z 世代成长于科技主导的世界,却对 AI 控制安全持保留态度。调查探讨了 Z 世代怀疑态度的根源,以及如何通过教育和透明度来解决信任问题。