NVIDIA Triton系列11-模型类别与调度器-1

NVIDIA Triton系列11-模型类别与调度器-1

B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客：肆十二-优快云博客

问答：(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

在 Triton 推理服务器的使用中，模型（model）类别与调度器（scheduler）、批量处理器（batcher）类型的搭配，是整个管理机制中最重要的环节，三者之间根据实际计算资源与使用场景的要求去进行调配，这是整个 Triton 服务器中比较复杂的部分。

在模型类别中有**“无状态（stateless）”、“有状态（stateful）”与“集成（ensemble）”三种，调度器方面则有“标准调度器（default scheduler）”与“集成调度器（ensemble scheduler）”两种，而标准调度器下面还有“动态批量处理器（dynamic batcher）”与“序列批量处理器（sequence batcher）”**两种批量处理器。

模型类别与调度器/批量处理器之间存在一些关联性，以下整理出一个简单的配合表