TensorRT之mmdeploy使用

最新推荐文章于 2024-06-11 20:04:34 发布

原创

最新推荐文章于 2024-06-11 20:04:34 发布 · 2.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #深度学习 #人工智能

本文详细指导了在服务器上使用2080Ti GPU和CUDA 11.3部署环境，包括拉取镜像、安装mmcv-full、torch、torchvision及TensorRT，配置TensorRT自定义算子，并进行FP32、FP16和INT8推理性能测试。遇到的问题与解决方案也一并分享，对CUDA+TensorRT编译和模型优化有实用价值。

服务器配置：

GPU:2080Ti
CUDA版本:cuda:11.3
driver version：450.57

1、部署环境配置：

（1）拉取镜像并进入

docker pull adenialzz/mmdeploy

docker run --gpus all --name [镜像名称] -itd -p 物理机端口:容器端口 -v 本地地址:容器映射地址 --privileged=true --ipc=host  [容器id] /bin/bash

docker exec -it [容器id] /bin/bash

（2）下载对应cuda版本的mmcv-full\torch\torchvision 并安装

CUDA版本：11.3

mmcv-full: mmcv_full-1.4.8-cp38-cp38-manylinux1_x86_64.whl

TensorRT:TensorRT-8.4.1.5.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz

torch:torch-1.10.0+cu113-cp38-cp38-linux_x86_64.whl

torchvision:torchvision-0.11.1+cu113-cp38-cp38-linux_x86_64.whl

pip install torch-1.10.0+cu113-cp38-cp38-linux_x86_64.whl
pip install torchvision-0.11.1+cu113-cp38-cp38-linux_x86_64.whl
pip install mmcv_full-1.4.8-cp38-cp38-manylinux1_x86_64.whl

其余需要资源：

ppl.cv/onnxruntime-linux-x64-1.8.1.tgz/third_party/pybind11/