【ai】triton-inference-server本地运行

下载源码 triton-inference-server/server

zhangbin@LAPTOP-Y9KP MINGW64 /x/02_triton_inf_server
$ git clone -b r24.05 https://github.com/triton-inference-server/server.git

Cloning into 'server'...
remote: Enumerating objects: 46395, done.
remote: Counting objects: 100% (1036/1036
### NVIDIA Triton Inference Server 下载与部署教程 #### 安装 Docker 和 nvidia-docker 为了运行 Triton Inference Server,需要安装支持 GPU 的 Docker 环境。这可以通过安装 `nvidia-container-toolkit` 来实现,该工具包允许容器访问主机上的 GPU 资源。 ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-docker2 sudo systemctl restart docker ``` #### 获取并启动 Triton Inference Server 镜像 通过官方提供的命令可以拉取最新的 Triton Inference Server Docker 镜像,并配置必要的参数以确保服务器能够正常工作[^4]: ```bash sudo docker pull nvcr.io/nvidia/tritonserver:<tag>-py3 sudo docker run --gpus all --rm --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 \ -p8000:8000 -p8001:8001 -p8002:8002 \ -v/path/to/model/repository:/models \ nvcr.io/nvidia/tritonserver:<tag>-py3 tritonserver --model-repository=/models ``` 其中 `<tag>` 是指具体的版本标签,例如 `20.09` 或者其他可用的稳定版;而 `/path/to/model/repository` 则是要挂载到容器内的本地模型仓库路径。 #### 准备模型库结构 对于想要加载至 Triton 中的服务化 AI 模型而言,其文件夹应当按照特定格式组织起来。比如 YOLOv5 TensorRT 模型实例中提到的操作如下所示[^3]: ```bash cd triton-yolov5-trt mkdir -p triton_deploy/models/yolov5/1/ mkdir triton_deploy/plugins cp tensorrtx/yolov5/yolov5s.engine triton_deploy/models/yolov5/1/model.plan cp tensorrtx/yolov5/build/libmyplugins.so triton_deploy/plugins/libmyplugins.so ``` 这里创建了一个名为 `triton_deploy` 的目录用于存放即将被服务化的YOLO v5模型及其依赖插件,在此之后还需要设置好相应的配置文件(通常是 `.config.pbtxt` 文件),以便让Triton知道如何解析这些二进制数据作为有效的推理引擎输入输出接口定义。 #### 关于发布版本的信息更新 有关最新发布的功能改进以及已知问题修复情况,请参阅官方文档中的发行说明部分[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

等风来不如迎风去

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值