Ubuntu 18.04 + TensorFlow 1.8.0 + TensorRT 3.0.4

最新推荐文章于 2025-10-16 18:13:43 发布

原创最新推荐文章于 2025-10-16 18:13:43 发布 · 4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #NVIDIA #TensorFlow #TensorRT #推理加速

深度学习专栏收录该内容

23 篇文章

订阅专栏

本文详细介绍了如何在Ubuntu 18.04上安装配置TensorRT 3.0.4，包括兼容的CUDA 9.0、cuDNN 7.1.3及TensorFlow 1.8.0版本。提供了具体的安装步骤，并针对GPU内存限制给出了测试建议。

部署运行你感兴趣的模型镜像

搞TensorRT的安装快一个星期了，在TensorFlow、NVIDIA开发者的帮助下最终确定如下可行环境：

System: Ubuntu 18.04
TensorRT version: 3.0.4 (for Ubuntu 14.04)
CUDA version: 9.0(run或者deb)
cuDNN version: 7.1.3 (run或者deb)
TensorFlow version: 1.8.0
GPU: GTX 1080

安装CUDA 9.0/CuDNN 7.1.3
这个比较随意，无论是deb还是run文件，通吃。具体安装过程就省略了。
下载TensorRT
注意，官方给出的建议是：TensorRT 3.0.4比较稳定，和TensorFlow兼容较好，而且，Ubuntu 14.04版的TensorRT可以通吃14.04、16.04、18.04

所以就用Ubuntu 14.04版的TensorRT 3.0.4就包你不会出错
这里写图片描述
下载倒数第二个

安装TensorRT
解压后，将你的TensorRT添加到bashrc中：

$ vim ~/.bashrc
export LD_LIBRARY_PATH=/home/micro/TensorRT 3.0.4/lib${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

安装TensorFlow
TensorFlow的安装可以通过pip或者源码编译安装，注意源码安装需要指定TensorRT路径：

...
Do you wish to build TensorFlow with CUDA support? [y/N]: y
CUDA support will be enabled for TensorFlow.
Please specify the CUDA SDK version you want to use, e.g. 7.0. [Leave empty to default to CUDA 9.0]: 9.0
Please specify the location where CUDA 9.0 toolkit is installed. Refer to README.md for more details. [Default is /usr/local/cuda]:
Please specify the cuDNN version you want to use. [Leave empty to default to cuDNN 7.0]: 7.1
Please specify the location where cuDNN 7 library is installed. Refer to README.md for more details. [Default is /usr/local/cuda]:
Do you wish to build TensorFlow with TensorRT support? [y/N]: y
TensorRT support will be enabled for TensorFlow.
Please specify the location where TensorRT is installed. [Default is /usr/lib/x86_64-linux-gnu]:/home/micro/TensorRT-4.0.0.3
...

测试
依旧通过tftrt文件中的run_all.sh进行测试，但是，如果你的GPU内存较少，可能会报“OOM”，可以通过一次运行一种精度模式以及较少batch size的方法较少内存占用：

$ python tftrt_sample.py --INT8 \
                        --num_loops 10 \
                        --topN 5 \
                        --batch_size 2 \
                        --workspace_size 2048 \
                        --log_file log.txt \
                        --network resnet_v1_50_frozen.pb \
                        --input_node input \
                        --output_nodes resnet_v1_50/predictions/Reshape_1 \
                        --img_size 224 \
                        --img_file  grace_hopper.jpg