TensorRT 10.13 安装指南(最后一版支持Ubuntu20.04的TensorRT)以及paddle兼容的版本

部署运行你感兴趣的模型镜像

安装前的准备(可选)

在安装新版本之前,先卸载已有的 NVIDIA 驱动、CUDA、cuDNN 和 TensorRT,以避免冲突。

sudo apt remove --purge '^nvidia-.*' '^cuda.*' '^libcuda.*' '^libnvidia.*' '^tensorrt.*' '^cudnn.*'
sudo apt autoremove -y
sudo apt clean
# Remove CUDA Toolkit and Related Files
sudo rm -rf /usr/local/cuda*
sudo rm -rf /usr/lib/cuda*
# Remove NVIDIA Repository (If Installed)
sudo rm -f /etc/apt/sources.list.d/cuda*
sudo rm -f /etc/apt/sources.list.d/nvidia-*
# update your package lis
sudo apt update

验证卸载:

dpkg -l | grep -E 'cuda|nvidia|tensorrt|cudnn'

重新启动系统:

sudo reboot

重新启动后,检查是否卸载干净:

# Check Nvidia driver
nvidia-smi
# check CUDA
which nvcc

安装 NVIDIA 驱动

https://www.nvidia.com/en-us/drivers/

# install the latest supported driver
sudo ubuntu-drivers autoinstall
# install the specific version
sudo apt install nvidia-driver-xxx

CUDA与NVIDIA驱动的兼容列表

https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

安装 CUDA v11.8

https://developer.nvidia.com/cuda-toolkit-archive

找到CUDA v11.8

注意:官方的给出的在线安装有错,请按照下面的代码安装


wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt-get update
sudo apt-get -y install cuda-toolkit-11-8

配置环境变量

# Update cuda path to .bashrc
echo 'export PATH=/usr/local/cuda-11.8/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc
# 验证当前cuda版本
nvcc --version

安装 cuDNN v9.10.2

之前博文已经发了,翻一下前面的文章。

安装 TensorRT 10.13

https://developer.nvidia.com/tensorrt-getting-started

https://developer.nvidia.com/tensorrt/download

选择这个版本

TensorRT 10.13 GA Release date 2025/07/22

# 安装 TensorRT 本地仓库(请确认文件名是否一致)
sudo dpkg -i nv-tensorrt-local-repo-ubuntu2004-10.13.0-cuda-11.8_1.0-1_amd64.deb
# 复制密钥(请确认文件夹路径是否正确)
sudo cp /var/nv-tensorrt-local-repo-ubuntu2004-10.13.0-cuda-11.8/nv-tensorrt-local-F234AD55-keyring.gpg /usr/share/keyrings/
# update package list
sudo apt-get update
# 安装 TensorRT
sudo apt-get install tensorrt
# 添加环境变量
echo 'export PATH=$PATH:/usr/src/tensorrt/bin' >> ~/.bashrc && source ~/.bashrc
source ~/.bashrc
# 验证安装
dpkg -l | grep nvinfer
sudo apt show tensorrt
trtexec --version

验证

python3.9 #或python3根据自己python3的版本号
import tensorrt
print(tensorrt.__version__)

如果需要用paddlepaddle百度的选这个版本

CUDA11.8 的 PaddlePaddle,如果需要使用 TensorRT ,那么可自行安装 TensorRT8.5.3.1

wget https://developer.nvidia.com/compute/machine-learning/tensorrt/secure/8.5.1/local_repos/nv-tensorrt-local-repo-ubuntu2004-8.5.1-cuda-11.8_1.0-1_amd64.deb
sudo dpkg -i nv-tensorrt-local-repo-ubuntu2004-8.5.1-cuda-11.8_1.0-1_amd64.deb
sudo cp /var/nv-tensorrt-local-repo-ubuntu2004-8.5.3-cuda-11.8/nv-tensorrt-local-3EFA7C6A-keyring.gpg /usr/share/keyrings/
sudo apt-key add /var/nv-tensorrt-local-repo-ubuntu2004-8.5.3-cuda-11.8/3EFA7C6A.pub
sudo apt-get update
sudo apt-get install tensorrt

最后选择n,因为升级的太厉害,直接搞到cuda12了,我也不清楚怎么回事。只能用Tar包安装了。

可靠的另一种方法

wget https://developer.nvidia.com/downloads/compute/machine-learning/tensorrt/secure/8.5.3/tars/TensorRT-8.5.3.1.Linux.x86_64-gnu.cuda-11.8.cudnn8.6.tar.gz
tar -xvf TensorRT-8.5.3.1.Linux.x86_64-gnu.cuda-11.8.cudnn8.6.tar.gz
sudo mv TensorRT-8.5.3.1 /usr/local/
vim ~/.bashrc

# 添加到.bashrc最后,下面的内容并保存
export CUDA_HOME=/usr/local/cuda-11.8
export TENSORRT_DIR=/usr/local/TensorRT-8.5.3.1
export LD_LIBRARY_PATH=$TENSORRT_DIR/lib:$CUDA_HOME/lib64:$LD_LIBRARY_PATH 
export PATH=$CUDA_HOME/bin:$TENSORRT_DIR/bin:$PATH
source ~/.bashrc

验证安装后,一般需要安装python接口,这个版本支持python3.6、python3.7、python3.8、python3.9、python3.10。注意:如果是需要使用python接口,我的python版本是3.9,安装以下版本的whl包还需要执行以下命令:

# 验证
trtexec # 此时指令已生效,应该在终端输出命令的相关参数
注意:如果是需要使用python接口,我的python版本是3.9,安装以下版本的whl包还需要执行以下命令:
cd /usr/local/TensorRT-8.5.3.1/python
python3.9 -m pip install tensorrt-8.5.3.1-cp39-none-linux_x86_64.whl
#或者
sudo python3.9 -m pip install tensorrt-8.5.3.1-cp39-none-linux_x86_64.whl

CUDA12.6 和CUDA12.9的 PaddlePaddle,如果需要使用 TensorRT ,那么可自行安装 TensorRT10.5.0.18

wget https://developer.nvidia.com/downloads/compute/machine-learning/tensorrt/10.5.0/local_repo/nv-tensorrt-local-repo-ubuntu2004-10.5.0-cuda-11.8_1.0-1_amd64.deb

这个版本用deb包没有什么问题。

您可能感兴趣的与本文相关的镜像

PaddlePaddle-v3.3

PaddlePaddle-v3.3

PaddlePaddle

PaddlePaddle是由百度自主研发的深度学习平台,自 2016 年开源以来已广泛应用于工业界。作为一个全面的深度学习生态系统,它提供了核心框架、模型库、开发工具包等完整解决方案。目前已服务超过 2185 万开发者,67 万企业,产生了 110 万个模型

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值