deepstream cuda tensorrt 安装

最新推荐文章于 2025-03-12 21:49:25 发布

原创最新推荐文章于 2025-03-12 21:49:25 发布 · 2.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #vscode

数据处理同时被 3 个专栏收录

5 篇文章

订阅专栏

onnx-tensorrt

4 篇文章

订阅专栏

deepstream5.0

2 篇文章

订阅专栏

本文档详细介绍了如何在Ubuntu系统中安装CUDA 10.2、cuDNN和TensorRT，包括禁用nouveau驱动、安装GStreamer、设置环境变量等步骤，并提供了遇到问题时的解决方案。

部署运行你感兴趣的模型镜像

安装cuda 10.2 cundnn

1. sudo bash cuda_10.2.89_440.33.01_linux.run

Do you accept the above EULA? accept
CUDA Installer 取消Driver安装（Enter选择/取消）-> Install
配置环境变量 vim ~/.bashrc

export PATH=/usr/local/cuda-10.2/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64:$LD_LIBRARY_PATH

生效：source ~/.bashrc
验证：nvcc -V

2.cudnn
下载完成后，解压，进入相应目录，运行以下命令：
sudo cp cuda/include/cudnn.h /usr/local/cuda-10.2/include
sudo cp cuda/include/cudnn_version.h /usr/local/cuda-10.2/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-10.2/lib64
sudo chmod a+r /usr/local/cuda-10.2/include/cudnn.h
sudo chmod a+r /usr/local/cuda-10.2/include/cudnn_version.h
sudo chmod a+r /usr/local/cuda-10.2/lib64/libcudnn*
验证：
cat /usr/local/cuda-10.2/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

4.安装librdkafka
git clone https://github.com/edenhill/librdkafka.git
$ cd librdkafka
$ git reset --hard 7101c2310341ab3f4675fc565f64f0967e135a6a
$ ./configure
$ make
$ sudo make install
$ sudo cp /usr/local/lib/librdkafka* /opt/nvidia/deepstream/deepstream-5.0/lib

# DeepStream安装
***************************************************************************************************/

一、安装GStreamer
   1.1、安装
       $sudo apt-get install libgstreamer1.0-0 gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-doc gstreamer1.0-tools gstreamer1.0-x gstreamer1.0-alsa gstreamer1.0-gl gstreamer1.0-gtk3 gstreamer1.0-qt5 gstreamer1.0-pulseaudio
   1.2、使用GStreamer创建工程
       pkg-config --cflags --libs gstreamer-1.0
   1.3、获取例程
       $sudo git clone https://gitlab.freedesktop.org/gstreamer/gst-docs
   1.4、验证
   1.4.1、编译
       $gcc basic-tutorial-1.c -o basic-tutorial-1 `pkg-config --cflags --libs gstreamer-1.0`
   1.4.2、运行
       。。。。。。。。。。。。。

二、关闭默认驱动，使用NVIDIA驱动
   2.1、参看计算机使用驱动
       $lsmod | grep nouveau     输入命令后，如有输出。。。。表示目前使用的是linux默认驱动nouveau。

   2.2、关闭nouveau驱动
   2.2.1打开文件：
       $ sudo vim /etc/modprobe.d/blacklist.conf
       在文末输入：
           blacklist nouveau
           options nouveau modeset=0
   2.2.2保存、退出后执行命令：$sudo update-initramfs -u   进行更新
   2.3电脑重启
   2.4使用命令：$lsmod | grep nouveau   若无输出，则说明默认驱动nouveau关闭成功。
   2.5、下载NVIDIA驱动
       打开“软件和更新————>附加驱动”下载nvidia-driver-465
   2.6、电脑重启
   2.7使用命令：$nvidia-smi   查看NVIDIA驱动版本

三、安装CUDA11.1
   3.1、下载、安装
       进入网址：https://developer.nvidia.com/cuda-11.1.1-download-archive?target_os=Linux 下载cuda11.1.1版本软件。。。。。或直接使用命令下载：
           $wget https://developer.download.nvidia.com/compute/cuda/11.1.1/local_installers/cuda_11.1.1_455.32.00_linux.run
           （若出现“3.29G 2.28MB/s    剩余 1s    s段错误 (核心已转储)”错误，基本都是“stack size ”太小，使用命令：$ulimit -s 102400   将“stack size ”增到到100M。
           然后使用命令：$wget -c https://developer.download.nvidia.com/compute/cuda/11.1.1/local_installers/cuda_11.1.1_455.32.00_linux.run,接着下载。）

           $sudo sh cuda_11.1.1_455.32.00_linux.run
   3.2、配置.bashrc文件
       $vim ~/.bashrc       在文末添加：
       export PATH=/usr/local/cuda-11.1/bin${PATH:+:${PATH}}
       export LD_LIBRARY_PATH=/usr/local/cuda-11.1/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
       保存、退出。
       使用命令：$ source ~/.bashrc
   3.3、可以使用nvcc -V查看CUDA版本
四、安装cuDNN
   4.1、下载cudnn-11.2-linux-x64-v8.1.1.33
   4.2、复制文件
       $ sudo cp (cudnn目录)/cuda/include/cudnn.h /usr/local/cuda-11.1/include
       $ sudo cp (cudnn目录)cuda/lib64/libcudnn* /usr/local/cuda-11.1/lib64
       $ sudo chmod a+r /usr/local/cuda-11.1/include/cudnn.h
       $ sudo chmod a+r /usr/local/cuda-11.1/lib64/libcudnn*

五、安装tensorRT
   5.1、下载TensorRT
   5.2、解压到
       $ sudo tar -xzvf TensorRT-7.2.3.4.Ubuntu-18.04.x86_64-gnu.cuda-11.1.cudnn8.1.tar.gz -C /usr/local/   将TensorRT解压到/usr/local

   5.3、使用命令：
           vim ~/.bashrc   在文末添加:export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/TensorRT-7.2.3.4/lib       保持、退出。
       执行命令：source ~/.bashrc

   5.4、使用命令：$ python3 -V   查看python3版本
   5.5、安装
       $ cd /usr/local/TensorRT-7.2.3.4/python
       $ sudo -H pip3 install tensorrt-7.2.3.4-cp36-none-linux_x86_64.whl   (若没有安装pip3,执行命令：$ sudo apt install python3-pip   进行安装)
       $ cd ../uff/       计划将TensorRT与TensorFlow一起使用时，安装uff才是必要的)
       $ sudo -H pip3 install uff-0.6.9-py2.py3-none-any.whl

六、安装依赖库：
   6.1 $ sudo apt install \
     libssl1.0.0 \
     libgstrtspserver-1.0-0 \
     libjansson4
   6.2、安装librdkafka
       $ sudo git clone https://github.com/edenhill/librdkafka.git
       (如果报错，fatal: unable to access.....。将上面命令中的https 改成git,执行命令：sudo git clone git://github.com/edenhill/librdkafka.git)
       $ cd /usr/local/librdkafka/
       $ cd librdkafka/
       $ git reset --hard 7101c2310341ab3f4675fc565f64f0967e135a6a
       $ sudo ./configure
       $ sudo make   (若出现 “/usr/bin/env: "python": 没有那个文件或目录”    则执行、$ sudo ln -s /usr/bin/python3.6 /usr/bin/python   建立软链接。)

七、安装deepstream toolkit
   7.1、下载   deepstream_sdk_v5.1.0_x86_64.tbz2
   7.2、$ sudo tar -jxvf deepstream_sdk_v5.1.0_x86_64.tbz2 -C /   解压到根目录
   7.3、$ cd /opt/nvidia/deepstream/deepstream-5.1/   进入目录
   7.4、$ sudo ./install.sh   安装文件

>* 可能提示缺失链接库,需要手动添加如下软连接
>>* sudo ln -sf /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_adv_train.so.8.0.1 /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_adv_train.so.8
>>* sudo ln -sf /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8.0.1 /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8
>>* sudo ln -sf /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8.0.1 /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8
>>* sudo ln -sf /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8.0.1 /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8
>>* sudo ln -sf /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_ops_train.so.8.0.1 /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_ops_train.so.8
>>* sudo ln -sf /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8.0.1 /usr/local/cuda-11.1/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8

7.5、$ sudo ldconfig

八、安装DeepStream例程中需要的要求的库（例程README中有要求）
8.1、sudo apt-get install libgstreamer-plugins-base1.0-dev libgstreamer1.0-dev \
libgstrtspserver-1.0-dev libx11-dev

## ************************************使用过程中出现的问题和解决******************************
>* 使用deepstream 或gstreamer时.报 “libxxxxx.so”不存在
>>* 使用 `gst-inspect-1.0 -b` 查看 blacklist 是否有很多库没有被加载
>>>* 如果有很多，同时使用find / -name libxxxx.so 发现库存在，可以实现如下办法解决
>>>* 删除gstreamer缓存，让它重新加载库
>>>>* rm ~/.cache/gstreamer-1.0/registry.aarch64.bin
/==================================================================================================/

您可能感兴趣的与本文相关的镜像

PyTorch 2.8

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理