Ubuntu在docker中安装TensorRT7

原创 已于 2025-01-17 20:15:55 修改 · 1.9k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #docker #cuda

于 2021-08-09 20:29:49 首次发布
本文详细介绍了在Ubuntu系统中安装和配置TensorRT、CUDA和CUDNN的步骤，包括关闭Xserver、卸载旧驱动、安装新驱动、更新Docker、下载CUDA安装包、配置CUDA环境变量、安装cudnn以及验证各个组件的过程。此外，还提到了TensorRT的加速技术以及与CUDA和CUDNN的关系，适合于NVIDIA GPU平台上的深度学习模型推理优化。
部署运行你感兴趣的模型镜像

文章目录

导读

TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个模型推理框架，支持C++和Python推理。即我们利用Pytorch，Tensorflow或者其它框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行该模型，从而提升这个模型在NVIDIA-GPU上运行的速度。

CUDA，CUDNN和TensoRT的关系：

  1. cuda是NVIDIA推出的用于自家GPU进行并行计算的框架，用户可通过cuda的API调度GPU进行加速计算（只有当要解决的计算问题是可以大量并行计算时才能发挥cuda的作用）
  2. cudnn是NVIDIA推出的用于自家GPU进行神经网络训练和推理的加速库，用户可通过cudnn的API搭建神经网络并进行推理，cudnn则会将神经网络的计算进行优化，再通过cuda调用gpu进行运算，从而实现神经网络的加速（当然你也可以直接使用cuda搭建神经网络模型，而不通过cudnn，但运算效率会低很多）
  3. tensorrt其实跟cudnn有点类似，也是NVIDIA推出的针对自家GPU进行模型推理的加速库，只不过它不支持训练，只支持模型推理。相比于cudnn，tensorrt在执行模型推理时可以做到更快。

TensorRT Optimizer

TensorRT主要通过下面两种技术来加速模型运行速度：

  1. tensorrt对网络结构进行了重构，将一些能合并的运算进行了合并（比如conv，bn，relu算子进行合并运算），且针对gpu的特性做了优化。对于cudnn来说，执行完conv，bn和relu三个操作可能需要调用三次cudnn对应的api进行计算，耗时比较长；但tensorrt则将三个操作进行了重构合并，进一步减少了推理时间
  2. 我们在模型训练的时候，通常采用float32数据进行训练，当模型训练完毕，其实无需使用float32这么高的精度进行推理。tensorrt则可以执行float16和int8执行推理，基本上几行代码搞定；但cudnn执行float16推理则相对要写比较多代码，也比较复杂

本文以TensorRT7.2.3.4为例。

Environment

  1. 硬件环境：CPU:英特尔X86处理器 GPU:GeForce 2080Ti
  2. 软件环境：Ubuntu16.04/Ubuntu18.04
  3. 虚拟环境：Docker 19.03以上版本

NVIDIA Driver

参考TensorRT7.2.3安装准备，TensorRT7最低需要CUDA10.2以上版本，所以要求你的驱动所支持的CUDA最高版本要不低于10.2，参考CUDA文档。

宿主机下

准备工作可参考linux下适配nvidia驱动，这里归纳如下

1. 关闭X server

安装驱动和CUDA包均需要关闭使用nvidia驱动的程序，如X server、禁用nouveau驱动

sudo /etc/init.d/lightdm stop
sudo /etc/init.d/lightdm status

这里以lightdm类型桌面为例，如果是gdm类型桌面，则命令改为gdm。更多关闭方式可参考关闭X server，推荐最后一种方式从其他设备终端登录关闭。

2. 卸载原驱动：

$ sudo apt remove --purge nvidia-*

3. 安装新驱动：

进入英伟达驱动下载(备选)，按类型搜索下载驱动安装包。
本文选用支持CUDA11.2的460.91.03版本
运行$ sudo sh NVIDIA-Linux-x86_64-460.91.03.run按提示安装即可。

4. 更新docker

若使用容器，还需相应更新nvidia-docker-runtime，运行命令:

$ sudo apt install nvidia-docker-runtime

注： 若apt未能索引到nvidia-docker-runtime，可以尝试更换为：

$ sudo apt install nvidia-container-runtime

附： Docker安装教程参考官网指南
FAQ: 添加apt源后update更新提示无Release，是因为国内访问docker官方源不稳定，可在添加源时将官方源替换为国内镜像，本文以阿里云镜像源为例：

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] http://mirrors.aliyun.com/docker-ce/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update

Docker

$ docker run -itd --gpus 'device=0,"capabilities=compute,utility"' --name=tensorrt_test -h tensorrt_test -v /home/nas:/home/data nvidia/cuda:10.2-devel-ubuntu16.04 bash

  • --name:容器名

  • -h:容器的host名

  • -v:目录映射。主机目录:容器目录

  • nvidia/cuda:10.2-devel-ubuntu16.04:公共镜像，可自行到docker-hub中拉取需要的镜像。

  • --gpus:配置容器使用GPU外设。device指定用哪个显卡，若使用全部则直接写all；capabilities指定容器使用GPU能力，具体如下：

    • compute: 需要在docker中使用CUDA和OpenCL
    • compat32:需要在docker中运行32位程序
    • graphics: 需要在docker中使用OpenGL和Vulkan
    • utility:需要在docker中使用nvidia-smi和NVML
    • video:需要在docker中使用视频编解码
    • display:需要在docker中使用X11

    在启动容器时需要为容器指定其需要的GPU能力,默认为utility。在深度学习开发中,往往需要cuda和cudnn此时需要添加compute能力。参考

进入容器$ docker exec -it tensorrt_test bash

CUDA

TensorRT7.2.3.4支持10.2, 11.0.1, 11.1.1, and 11.2.1，自己选择合适版本下载安装。本文使用11.0.1。

1. 下载CUDA安装包

Installer Type推荐选择runfile(local)
$ wget https://developer.download.nvidia.com/compute/cuda/11.0.3/local_installers/cuda_11.0.3_450.51.06_linux.run

2. 安装cuda

$ sudo sh cuda_11.0.3_450.51.06_linux.run

#..一堆协议说明...
accept/decline/quit: accept  #接受协议

Install NVIDIA Accelerated Graphics Driver for Linux-x86_64?
(y)es/(n)o/(q)uit: n  #是否安装显卡驱动，由于已经安装显卡驱动，选择n

Install the CUDA 11.0 Toolkit?(y)es/(n)o/(q)uit: y #是否安装CUDA工具包，选择y

Enter Toolkit Location
[ default is /usr/local/cuda-11.0 ]: #工具包安装路径，默认回车即可，也可根据自己情况修改路径

Do you want to install a symbolic link at /usr/local/cuda?
(y)es/(n)o/(q)uit: y #添加软链接，如果你之前安装过另一个版本的cuda，除非你确定想要用这个新版本的cuda，否则这里建议选no，因为指定该链接后会将cuda指向这个新的版本。

Install the CUDA 11.0 Samples?
(y)es/(n)o/(q)uit: n #安装样例，这里看自己情况

Enter CUDA Samples Location
 [ default is /root ]:  #如果上面选择n则无需管该项，否则样例安装地址自己选择

# ***安装信息***
Installing the CUDA Toolkit in /usr/local/cuda-11.0 ...

Finished copying samples.

===========
= Summary =
===========
Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-11.0
Samples:  Not Selected

Please make sure that
 -   PATH includes /usr/local/cuda-11.0/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-11.0/lib64, or, add /usr/local/cuda-11.0/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run the uninstall script in /usr/local/cuda-11.0/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-11.0/doc/pdf for detailed information on setting up CUDA.

***WARNING: Incomplete installation! This installation did not install the CUDA Driver.

To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:

    sudo <CudaInstaller>.run -silent -driver

Logfile is /tmp/cuda_install_6388.log
# ***安装完成***

若安装过程中出现Missing recommended library错误，运行下面命令安装相关依赖:
$ sudo apt install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

3. 配置CUDA环境变量

修改~/.bashrc文件在文件末尾添加环境变量:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
export PATH=$PATH:/usr/local/cuda/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda

保存后还需使其生效： $ source ~/.bashrc

注意： 上面在设置环境变量时，使用的是cuda，而不是cuda-11.0，这主要是为了方便我们切换cuda版本，可以让我们不用每次都去该环境变量的值。当我们想使用其他版本时，只需要删除该软链接，然后重新建立指向另一版本CUDA的软链接即可（注意软连接名称还是cuda，因为要与~/.bashrc文件里设置的保持一致）

$ sudo rm -rf cuda
$ sudo ln -s /usr/local/cuda-10.2 /usr/local/cuda

4. 安装cudnn

$ sudo cp cuda/include/cudnn*.h /usr/local/cuda/include 
$ sudo cp -P cuda/lib64/libcudnn* /usr/local/cuda/lib64 
$ sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

注意： 命令里使用的软链接地址，如果软链接指向的不是所需目标路径请修改命令为具体的绝对路径。

5.查看版本

$ uname -a // 查看ubuntu发行版本信息
$ ls -l /usr/local/ | grep cuda // 查看cuda版本
$ cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2 // 查看cudnn版本
$ cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 // 查看cudnn版本

TensorRT

下载TensorRT7安装包：
进入TensorRT7.2.3下载选择合适版本下载安装包，推荐选择TAR package(Deb安装方式可参考文末)。本文选择TensorRT-7.2.3.4.Ubuntu-16.04.x86_64-gnu.cuda-11.0.cudnn8.1.tar.gz。

注： TensorRT8只支持cuda11.0及以上版本，若你的cuda是11.0及以上可安装TensorRT8，否则选低版本。另，TensorRT8.5以下版本由于自带cudnn，所以只需关注cuda版本，无需关注cudnn版本；而TensorRT8.5及以上版本不再捆绑cudnn，所以不仅要明确cuda版本还需明确系统的cudnn版本再选择相应cuda和cudnn版本对应的TensorRT8.5及以上版本安装

TAR包方式

1. 解压

$ version=7.2.3.4
$ os=Ubuntu-16.04
$ arch=$(uname -m)
$ cuda=cuda-11.0
$ cudnn=cudnn8.1
$ tar xzvf TensorRT-${version}.${os}.${arch}-gnu.${cuda}.${cudnn}.tar.gz

2. 安装python包

$ cd TensorRT-${version}/python
$ sudo pip3 install tensorrt-7.2.3.4-cp37-none-linux_x86_64.whl

3. 安装graphsurgeon

$ cd TensorRT-${version}/graphsurgeon
$ sudo pip3 install graphsurgeon-0.4.5-py2.py3-none-any.whl

4. 安装onnx-graphsurgeon

$ cd TensorRT-${version}/onnx_graphsurgeon
$ sudo pip3 install onnx_graphsurgeon-0.2.6-py2.py3-none-any.whl

5. 安装UFF（可选）

如果你需要使用带有转换tensorflow模型的tensorrt还需安装UFF

$ cd TensorRT-${version}/uff
$ sudo pip3 install uff-0.6.9-py2.py3-none-any.whl

检查安装which convert-to-uff

6. 配置环境变量

在~/.bashrc末尾增加
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:{TensorRT_PATH}/lib
自行替换{TensorRT_PATH}为你的绝对路径。使其生效$ source ~/.bashrc

7. 安装pycuda并验证tensorrt

$ sudo pip3 install pycuda==2020.1

由于2020.1版本之后官方只提供源码包，故2020.1版本以上需要源码编译安装，下面以2023.1版本为例：

  1. 下载源码包并解压
    pycuda2023.1版本源码包

  2. 编译并安装
    编译中需要pyconfig.h头文件，确保在${CPLUS_INCLUDE}中能找到正确头文件。如果本地没有需要安装对应版本的python-dev，如apt install python3.8-dev
    安装中依赖Mako、appdirs、pytools三个python包，可以提前安装以防因网络问题自动安装终止。

    $ cd pycuda-VERSION
$ python configure.py --cuda-root=/usr/local/cuda
$ su -c "make install"

    当出现如下图中Installed xxx/pycuda-xxx.egg时证明安装成功，最后需把egg目录加入环境变量PYTHONPATH
    在这里插入图片描述 注： 如果要将PyCUDA安装到其他路径下，则需要编辑Makefile中的setup.py调用，方法是在install指令后的行中添加例如--home=/home/${whoami}/local

  3. 测试

    $ cd pycuda-VERSION/test
$ python test_driver.py

进入python环境

import tensorrt
import pycuda

如果均能正常导入则安装成功

Deb本地仓方式

1. 安装

$ version=7.0.0.1
$ os=ubuntu1804
$ arch=amd64
$ cuda=cuda10.0
$ sudo dpkg -i nv-tensorrt-repo-${os}-${cuda}-trt${version}-ga-20210226_1-1_${arch}.deb
$ sudo cp /var/nv-tensorrt-local-repo-${os}-${cuda}-trt${version}/*-keyring.gpg /usr/share/keyrings/
$ sudo apt update
$ sudo apt install tensorrt

2.验证

$ sudo dpkg -l | grep TensorRT

如下图，能显示出TensorRT组件信息就是安装成功

验证TensorRT安装

您可能感兴趣的与本文相关的镜像

PyTorch 2.7

PyTorch 2.7

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

Win10+Docker配置TensorRT环境
ice
07-16 676
安装前面导出的镜像(即压缩包)，这一步和Ubuntu20.04离线安装是一样的,我这里直接导出到D:\docker路径中，执行指令后在该路径下多了一个ext4.vhdx文件，这是一个虚拟硬盘文件。
win10安装wsl2(ubuntu20.04)并安装 TensorRT-8.6.1.6、cuda_11.6、cudnn
heshiyuan1406146854的博客
08-16 1434
Distribution 选择 ubuntu( 我看很多博客是选择的wsl ubuntu，但是我选择ubuntu后面经过测试也是没问题的 )、1. 找一个可以访问到 微软商店的电脑，下载 ubuntu20.04 的镜像，例如：ubuntu2004.zip，解压，双击里面的 ubuntu2004.exe 即打开 ubuntu20.04 的 terminal 控制台。4. 取消勾选 driver( 如果有的话 ) --》 点击 install // 执行是不显示进度，不要以为死机了。
TensorRT8.2.1.8基于Docker容器快速安装
NLP算法工程师，主要研究人机对话系统、机器翻译算法，文本生成、大模型等算法研究
11-12 1900
基于Docker安装Tensorrt的方法介绍
使用docker进行的tensorrt安装记录
sdhdsf132452的博客
04-13 1692
版本，选择对应的包进行安装。例如我的python是3.9，所以。用户应该轻车熟路吧hhh)，为了使其生效，应该需要重启电脑。的版本选择对应的版本。然后解压到自己想放到的位置。
视觉入门篇——深度学习环境部署（ubuntu系统安装TensorRT）
最新发布
In_moon_shadow的博客
10-16 1030
本文介绍了TensorRT的安装与配置方法，重点讲解了如何选择合适版本并通过tar包方式在Linux系统上安装TensorRT 10.8。文章详细说明了环境变量配置、测试验证步骤，以及Python支持包的安装注意事项。同时提醒读者注意版本兼容性问题，建议根据实际需求选择CUDA和TensorRT版本，并提供了版本共存时的切换方案。对于边缘计算设备用户，文章建议后续可考虑介绍JetPack版本升级方法。
tensorRT安装与docker使用
a264672的博客
03-20 1958
tensorRT安装与docker使用、torch2trt使用
在docker安装固定版本的tensorrt
lgh15897723511的博客
09-15 730
在docker安装固定版本的tensorrt
TensorRT7 安装｜ubuntu18.04｜cuda 10.2｜1080ti
lostcorner的博客
06-19 816
但是本机原来安装的是CUDA10.1，但是TensorRT7的最新版本需要CUDA10.2，所以先重新安装一个CUDA。因为之前在win平台上使用过tensorrt，得到的唯一一个结论就是：千万要对应版本！！！无论是安装还是后续的部署，tensorrt都需要cuda和平台类型保持一致。
在Docker中部署Tensorrt环境
qq_43318374的博客
05-22 1802
首先安装docker sudo apt-get install docker 拉取一个镜像，包含nvidia，cuda cudnn基本环境 sudo docker pull nvidia/cuda:11.4.0-cudnn8-devel-ubuntu18.04 若docker pull 有点慢可以加速一下 操作如下： sudo vim /etc/docker/daemon.json 添加如下： { "registry-mirrors": ["https://registry.docker-cn.
ubuntu18 Docker （CUDA+cudnn） tensorrtx方案 yolov5
weixin_44916682的博客
08-11 612
tensorrtx的docker使用方案（yolov5例程） 使用cudn+cudnn的容器，在docker中安装tensorRT，最终实现模型加速
Docker | Docker 快速搭建 TensorRT 环境(超详细)
热门推荐
HinGwenWoong的博客
05-30 1万+
利用Docker快速搭建TensorRT环境。我们平时训练 or 部署的环境， TensorFlow 和 Pytorch 有时候会出现兼容性导致的错误，如果线上已经部署了多个 TensorFlow 模型的情况下，后续要继续使用 TensorFlow 而不能使用 Pytorch 写的更好的网络，这导致我们在模型选型的时候很受制约。另外，我们如果直接使用 Python 部署的话，其作为解释语言的处理速度无法超过编译语言，这导致推理会比较耗时。借助 docker 容器的便捷性，更加能够快速进行TensorRT搭建
Ubuntu 安装Tensorrt
VulcanYJX的博客
07-15 1076
【丁丁历险记】全篇索引​​​​​​ 本节教大家配置在Ubuntu中安装并测试Tensorrt。由于网上各种水文，我就不讲官方文档里的那些介绍了。直接上干货。 配置Tensorrt之前需要保证主机中已经安装好了NV的显卡驱动、Cuda、Cudnn（特别注意：这四个东西是必须对应版本的，这是一套东西）请在官网自行装好，个人建议安装.run文件的cuda版本，手动安装cudnn。主要是知道文件去了哪心理踏实。 【官方cuda链接】；【官方cudnn链接】；【nvidia显卡驱动链接】；【官方tensorrt链
Tensorrt Docker安装
jsjason1的博客
04-14 1041
安装NVIDIA-CONTAINER $ cat nvidia-container-runtime-script.sh sudo curl -s -L https://nvidia.github.io/nvidia-container-runtime/gpgkey | \ sudo apt-key add - distribution=$(. /etc/os-release;echo $ID$VERSION_ID) sudo curl -s -L https://nvidia.github.io/nvi
Ubuntu18.04 TensorRT7.0 安装和使用
W1995S的博客
08-20 1547
1.安装依赖环境 。CUDA9.0, 10.0, or 10.2 。CuDNN 7.6.5 。Python 2 or Python 3 (Optional) 2.下载TensorRT tar文件 。访问: https //developer nvidia .com/tensorrt 。选择TensorRT版本并下载 3.选择安装的文件夹，所有的安装文件最终都安装在以Tenso:RT-version对应的子文件夹中 4解压tar文件 $ tar xzvf TensorRT-${version}.${os
Ubuntu TensorRT安装
ytusdc的博客
07-03 6066
到graphsurgeon目录下,安装graphsurgeon，
ubuntu上tensorrt7.0安装
alex1801
07-09 2682
系统环境： ubuntu18.04、cuda10.2、driver440、cudnn7.6、tensorRT7.0、python3.6。 1、deb包安装 为了避免安装时各种问题，我们也可以使用deb包的方式安装。下载地址： https://developer.nvidia.com/nvidia-tensorrt-7x-download 下载文件：nv-tensorrt-repo-ubuntu1804-cuda10.2-trt7.0.0.11-ga-20191216_1-1_amd64.deb
Ubuntu TensorRT安装（python API）
qq_39577547的博客
05-08 2221
配置TensorRT实现深度学习模型的加速
ubuntu安装tensorrt
qwj的博客
08-18 5113
ubuntu安装tensorrt
docker 安装tensorrt
04-02
### 如何在 Docker 容器中安装 TensorRT 要在 Docker 容器中成功安装 NVIDIA 的 TensorRT，可以按照以下方法进行配置和构建容器： #### 准备工作 确保主机环境已经正确安装了必要的依赖项以及支持 GPU 加速的功能...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值