1.检查CUDA和CUDNN版本
CUDA和CUDNN的版本需要对应
以本文为例:CUDA是11.3,CUDNN是8.2.1
- CUDA
nvcc --version
nvcc -V
- CUDNN
2.下载TensorRT
官网:https://developer.nvidia.com/nvidia-tensorrt-8x-download
这里我选择的是TensorRT-8.4版本,
EA 版本代表抢先体验(在正式发布之前),GA 代表通用性。 表示稳定版,经过全面测试。(建议下载TensorRT的 GA release )
3.安装TensorRT
- 将下载后的文件解压,将TensorRT文件中的bin、include两个目录中的文件复制到CUDA对应版本的安装目录中。
PS:解决FileNotFoundError: Could not find: nvinfer.dll
将TensorRT的lib目录中.lib
结尾的文件复制到CUDA的lib目录中,.dll
结尾的文件复制到CUDA的bin目录中。
-
安装
tensorrt python sdk
,根据本地的Python版本安装相应的whl
-
安装
onnx python sdk
支持
-
安装
uff
-
系统变量设置
-
重新打开cmd,测试TensorRT是否安装成功
https://cloud.tencent.com/developer/article/1983455
https://blog.youkuaiyun.com/qq_44523137/article/details/125009228
https://blog.youkuaiyun.com/Robot3366/article/details/140724041