NVIDIA Triton系列06-安装用户端软件

NVIDIA Triton系列06-安装用户端软件

B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客：肆十二-优快云博客

问答：(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

在前面的文章中，已经带着读者创建好 Triton 的模型仓、安装并执行 Triton 推理服务器软件，接下来就是要安装 Triton 用户端软件，对服务器提出推理请求（requests），才能触发服务器执行推理计算的任务。

由于用户端的功能是在向服务器提出推理需求，本身并不参与计算，因此不用考虑设备性能或者是否装载 GPU 设备，即便是一台最基本的 Windows 上网本都能使用，只要安装合适的用户端软件就可以。

为了适应更多种使用场景，Triton 用户端支持 C++/Python/Java/GO 等通用性高的在编程语言，底层还支持 HTTP/REST 与 gRPC 通讯协议，甚至还支持 SSL/TLS 加密选项，以及多种在线压缩（on-wire compression）算法，内容是相当丰富并且多元化，完整的内容可以在 https://github.com/trito