【教程】Install NVIDIA TensorRT on WSL 在WSL上安装英伟达TensorRT

---

NVIDIA® TensorRT™ 是一个用于高性能深度学习推理的 API 生态系统。TensorRT 包括推理运行时和模型优化，可为生产应用提供低延迟和高吞吐量。TensorRT 生态系统包括 TensorRT、TensorRT-LLM、TensorRT Model Optimizer 和 TensorRT Cloud。

本教程参照NVIDIA官网TensorRT安装教程展示如何在安装有WSL2 Ubuntu-22.04的windows11系统上安装英伟达TensorRT

I. 环境

• 具有NVIDIA GPU
• windows已安装NVIDIA driver
• 系统为windows11 安装了 WSL2 Ubuntu 22.04
• 理论上来说，如果windows上具有NVIDIA driver，wsl不需要再安装
• 通过nvidia-smi查看系统cuda版本，此处为12.4

---

II. 流程

本教程参照NVIDIA官网TensorRT安装教程编写

• 安装CUDA
• 安装cuDNN
• 安装TensorRT

---

III. CUDA安装

在NVIDIA官网TensorRT安装教程里选择与通过nvidia-smi中显示的一致的CUDA版本，本教程采用CUDA 12.4

本教程采用12.4.1版本

选择 Linux

并依次选择

• x86_64(请选用相匹配的架构)
• WSL-Ubuntu
• 2.0
• deb (local)
  
  跟随教程即可
  
  安装完成后需要配置环境变量
  在 .bashrc 文件中写入下列代码

vim ~/.bashrc

# 使用vim打开.bashrc，也可以使用其他编辑器
# 将下列代码添加到文件底部

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
export PATH=$PATH:/usr/local/cuda/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda

# 保存退出，打开新终端激活

source ~/.bashrc

在安装的过程中，程序实际安装在了如下图所示的/usr/local/cuda-12.4，但是安装后已经默认建立了软连接 /usr/local/cuda <----/usr/local/cuda-12.4，故环境变量指向/usr/local/cuda即可

完成后，进行验证

nvcc -V

运行结果如下，可以视为成功

---

IV. cuDNN安装

在NVIDIA官网TensorRT安装教程里选择cuDNN安装教程

进入后在左侧导航栏选择相应安装教程

本教程选择这种安装方式

进入A.中的cuDNN链接，该网页会要求登录NVIDIA开发者账号，登录后才能下载

按照下图所示选择，这里默认安装最新的cuDNN，要选择合适的版本，可以在页面底部进入相应网页


跟随教程即可

安装完成后，返回之前的cuDNN安装教程，在导航栏选择验证安装，跟随教程验证即可（注意：编译可能需要sudo执行，编译时可能遇见的问题，参考教程）

---

V. TensorRT安装

在NVIDIA官网TensorRT安装教程的左侧导航栏中选择这段教程

先跟随教程，选择合适版本下载TensoRT，本教程选择TensorRT 10.1.0

注意，选择deb (local) 包下载，下载完成后请将包置于WSL的目录下，也可以通过 wget 命令下载

下载完成后，返回NVIDIA官网TensorRT安装教程，跟随教程在命令行输入指令即可

最后，跟随教程验证安装

---

VI. 结语

TensorRT安装完以后，可以在\usr\src\tensorrt\samples目录下可以找到一些供测试的样例，可以参照其中包含的README文件，编译后运行。（编译参考官方Github库）