NVIDIA Triton系列12-模型与调度器2

NVIDIA Triton系列12-模型与调度器2

B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客：肆十二-优快云博客

问答：(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

前面两篇文章，已经将 Triton 的“无状态模型”、“有状态模型”与标准调度器的动态批量处理器与序列批量处理器的使用方式，做了较完整的说明。

大部分的实际应用都不是单纯的推理模型就能完成服务的需求，需要形成前后关系的工作流水线。例如一个二维码扫描的应用，除了需要第一关的二维码识别模型之外，后面可能还得将识别出来的字符传递给语句识别的推理模型、关键字搜索引擎等功能，最后找到用户所需要的信息，反馈给提出需求的用户端。

本文的内容要说明 Triton 服务器形成工作流水线的“集成推理”功能，里面包括**“集成模型（ensemble model）”与“集成调度器（ensemble scheduler）”**两个部分。下面是个简单的推理流水线示意图，目的是对请求的输入图像最终反