TensorRT使用

DeepStream6.0安装及配置
一、参考的第一个网站
在安装DeepStream6.0时，我参考了多个网页，第一个参考的是一个中文网页（ubuntu 安装 deepstream6.0），安装后，可以运行deepstream6.0 的sample。
详细步骤如下：
安装依赖

sudo apt install libssl1.0.0 libgstreamer1.0-0 gstreamer1.0-tools gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav libgstrtspserver-1.0-0 libjansson4 gcc make git python3

下面两个是公司系统已经安装过的，所以没有操作。
安装 NVIDIA driver 470.63.01，传送：CUDA Toolkit 11.4 Update 1 Downloads | NVIDIA Developer
安装 CUDA ToolKit 11.4.1 (CUDA 11.4 Update 1)，传送：CUDA Toolkit 11.4 Update 1 Downloads | NVIDIA Developer
安装 TensorRT
要求安装的是TensorRT 8.0.1，但是我在TensorRT官方网页找不到支持CUDA11.4版本的8.0.1，所以选择了TensorRT8.2。传送：NVIDIA TensorRT 8.x Download | NVIDIA Developer

下载后，执行如下脚本：

sudo dpkg -i nv-tensorrt-repo-ubuntu1804-cuda11.4-trt8.2.2.1-ga-20211214_1-1_amd64.deb
sudo apt-key add /var/nv-tensorrt-repo-ubuntu1804-cuda11.4-trt8.0.1.6-ga-20210626/7fa2af80.pub
sudo apt-get update
sudo apt-get install tensorrt
sudo apt-get install libnvinfer8=8.2.2-1 libnvinfer-plugin8=8.2.2-1+cuda11.4 libnvparsers8=8.2.2-1 libnvonnxparsers8=8.2.2-1+cuda11.4 libnvinfer-bin=8.2.2-1+cuda11.4 libnvinfer-dev=8.2.2-1+cuda11.4 libnvinfer-plugin-dev=8.2.2-1+cuda11.4 libnvparsers-dev=8.2.2-1+cuda11.4 libnvonnxparsers-dev=8.2.2-1+cuda11.4 libnvinfer-samples=8.2.2-1+cuda11.4 libnvinfer-doc=8.2.2-1

安装 librdkafka
clone代码

git clone https://github.com/edenhill/librdkafka.git

配置及编译

cd librdkafka
git reset --hard 7101c2310341ab3f4675fc565f64f0967e135a6a

./configure
sudo make -j32
sudo make install

把生成的库拷贝到 deepstream 文件夹：

sudo mkdir -p /opt/nvidia/deepstream/deepstream-6.0/lib
sudo cp /usr/local/lib/librdkafka* /opt/nvidia/deepstream/deepstream-6.0/lib

安装 deepstream sdk
我用的是最简单的方式，下载安装deb文件即可，传送：DeepStream Getting Started | NVIDIA Developer

sudo dpkg -i ./deepstream-6.0_6.0.0-1_amd64.deb

验证是否安装成功
which deepstream-app

能定位到 deepstream-app 就成功了，然后尝试用deepstream-app执行sample

deepstream-app -c <path_to_config_file>

python3使用pycuda与tensorrt

sudo apt-get -y --force-yes install python3-pycuda
pip install nvidia-pyindex
pip install nvidia-tensorrt