环境
- Anaconda3 [python 3.8]
- Visual Studio 2022
- CUDA 11.8
- cuDNN 8.6.0
- TensorRT 8.5.2.2
TensorRT 下载并 配置
- 下载 TensorRT 8.x
# 如下载8.5.2.2版本
TensorRT-8.5.2.2.Windows10.x86_64.cuda-11.8.cudnn8.6.zip
- 1
- 2
- 加压后,添加环境变量PATH中(根据自己路径)
# 将lib路径添加到环境变量
D:\AI_SoftEnv\TensorRT\TensorRT-8.5.2.2\lib
- 1
- 2
- 将TensorRT-8.5.2.2\lib下的lib文件和dll文件分别拷贝到CUDA的lib/x64路径和bin路径下
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib\x64
- 1
- 2
- 安装pytho版本tensorrt
# 到TensorRT-8.5.2.2\python下,根据自己的python版本安装tensorrt
pip install tensorrt-8.5.2.2-cp38-none-win_amd64.whl
# 测试
import tensorrt as trt
trt.version
- 1
- 2
- 3
- 4
- 5
- 6
VS2022配置TensorRT并测试
使用VS2022打开TensorRT-8.5.2.2\samples\sampleOnnxMNIST\sample_onnx_mnist.sln
进行如下环境配置
注:对于VS2022,其已经默认添加了这几个库(前4个是tensorrt的,后3个是cuda的)。为了说明,还是按照上面方式配置即可。
nvinfer.lib
nvinfer_plugin.lib
nvonnxparser.lib
nvparsers.lib
cudnn.lib
cublas.lib
cudart.lib
到此为止,TensorRT在VS中就配置好了(实际上面也展示了CUDA的配置),下面就可以直接测试案例程序了。
为了防止后面执行exe操作闪退,添加getchar();
到main函数下
之后编译build
即可。
编译成功后,会在 TensorRT-8.5.2.2\bin
路径下生成可执行文件sample_onnx_mnist.exe
双击运行即可
以上就是TensorRT安装和VS配置以及官方Demo运行过程,到此就说明一切都OK了。
备注
以上过程可能存在找不到zlibwapi.dll
的问题,解决办法:
- 官网下载 ZLIB DLL 库,解压后将
zlibwapi.dll
拷贝到C:\Windows\System32
下即可。
也可分别将zlibwapi.dll
和zlibwapi.lib
放于CUDA的bin和lib文件夹下,两种方法都行。
# zlibwapi.dll放于其中
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin
# zlibwapi.lib放于其中
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib
- 1
- 2
- 3
- 4
还有一个关于懒加载问题,来源和配置办法如下
- 来源
根据官方说明,需要配置环境变量
参考
https://blog.youkuaiyun.com/qq_44224801/article/details/125525721
https://blog.youkuaiyun.com/Chaos_Happy/article/details/124064428
https://www.cnblogs.com/xixixing/p/16140973.html
https://www.iotword.com/5928.html