TensorRT 笔记

1.cuda安装

• 下载网址https://developer.nvidia.com/cuda-downloads

下载相应版本.run文件

wget https://developer.download.nvidia.com/compute/cuda/11.3.1/local_installers/cuda_11.3.1_465.19.01_linux.run
sudo sh cuda_11.3.1_465.19.01_linux.run

• 根据需求选择安装内容，本文未选择安装驱动

• 

• 安装结束
  

• 修改配置文件sudo gedit ~/.bashrc

CUDA_HOME=/usr/local/cuda
export PATH=$PATH:$CUDA_HOME/bin/
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CUDA_HOME/lib64

• 验证nvcc -V

2.cudnn安装

• 网址https://developer.nvidia.com/cudnn
• 下载解压之后，将cuda/include/cudnn.h文件复制到usr/local/cuda/include文件夹：
  sudo cp ./cuda/include/cudnn.h /usr/local/cuda/include
• 将cuda/lib64/下所有文件复制到/usr/local/cuda/lib64文件夹中，并添加读取权限：

sudo cp ./cuda/lib64/* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

3.TensorRt安装

• 确认好对应的cuda和cudnn版本

• 目前使用cuda11.3.1,cudnn8.2.1,TensorRT8.0.1.6

• 下载网址https://developer.nvidia.com/nvidia-tensorrt-8x-download
  

• 解压，移动至自己指定文件夹

• sudo gedit ~/.bashrc

#tensort
export LD_LIBRARY_PATH=/home/manager/software/TensorRT-8.0.1.6/lib:$LD_LIBRARY_PATH
export LIBRARY_PATH=/home/manager/software/TensorRT-8.0.1.6/lib:$LIBRARY_PATH

• source ~/.bashrc
• 安装tensorrt-python插件

cd ./TensorRT-8.0.1.6/python
pip install tensorrt-8.0.1.6-cp39-none-linux_x86_64.whl

• 安装uff组件

cd ../uff
pip install uff-0.6.9-py2.py3-none-any.whl

4 .问题

1.TensorRT was linked against cuBLAS/cuBLAS LT 11.5.1 but loaded cuBLAS/cuBLAS LT 11.4.2

• 这是因为安装的cuda是11.3.0版本的，里面的cublas不是11.5.1，安装11.3.1版本的cuda就好了