NVIDIA Triton系列07-image_client 用户端参数

NVIDIA Triton系列07-image_client 用户端参数

B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客：肆十二-优快云博客

问答：(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

作为服务器的最重要任务，就是要接受来自不同终端所提出的各种请求，然后根据要求执行对应的计算，再将计算结果返回给终端。

当 Triton 推理服务器运行起来之后，就进入等待请求的状态，因此我们所要提出的请求内容，就必须在用户端软件里透过参数去调整请求的内容，这部分在 Triton 相关使用文件中并没有提供充分的说明，因此本文的重点就在于用 Python 版的 image_client.py 来说明相关参数的内容，其他用户端的参数基本上与这个端类似，可以类比使用。

本文的实验内容，是将 Triton 服务器安装在 IP 为 192.168.0.10 的 Jetson AGX Orin 上，将 Triton 用户端装在 IP 为 192.168.0.20 的树莓派上，读者可以根据已有的设备资源自行调配。

在开始进行实验之前，请先确认以下两个部分的环境：

在服务器设备上启动 Triton 服务器，并处于等待请求的状态：

如果还没启动的话，请直接执行以下指令：

# 根据实际的模型仓根目录位置设定TRITON_MODEL_REPO路径$ export TRITON_MODEL_REPO= H O M E / t r i t o n / s e r v e r / d o c s / e x a m p l e s / m o d e l r e p o s i t o r