NVIDIA Triton系列10-模型并发执行

NVIDIA Triton系列10-模型并发执行

B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客：肆十二-优快云博客

问答：(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

前面已经做好了每个推理模型的基础配置，基本上就能正常让 Triton 服务器使用这些独立模型进行推理。接下来的重点，就是要让设备的计算资源尽可能地充分使用，首先第一件事情就是模型并发执行（concurrent model execution）的调试，这是提升 Triton 服务器性能的最基本任务。

Triton 服务器支持的模型并发能力，包括一个模型并发多个推理实例，以及多个模型的多个并发实例。至于能并发多少实例？就需要根据系统上的硬件配置，Triton 支持纯 CPU 以及多 GPU 的计算环境。

GPU 是能够同时执行多个工作负载的计算引擎，Triton 推理服务器通过在 GPU上同时运行多个模型&#