ubuntu 下 tensorrt 加速 tensorflow object detection 模型

最新推荐文章于 2025-05-17 16:32:23 发布

新生代农民工！

最新推荐文章于 2025-05-17 16:32:23 发布

阅读量590

点赞数

CC 4.0 BY-SA版权

分类专栏： tensorflow

本文链接：https://blog.youkuaiyun.com/TYtangyan/article/details/104898491

tensorflow 专栏收录该内容

4 篇文章

订阅专栏

本文介绍如何使用TensorRT对模型进行优化，以提高推理速度。包括TensorRT的安装配置、模型转换步骤及测试方法，适用于希望提升模型运行效率的开发者。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为了加快推理速度，使用tensorrt优化模型。如上图所示，训练过程不变（训练以后再说），将得到的模型进行优化加速。

1、官方文档：https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/

2、tensorrt 下载路径：https://developer.nvidia.com/tensorrt

3、模型转换所需要的 tf_trt_models 下载路径：https://github.com/NVIDIA-AI-IOT/tf_trt_models

准备好2,3的材料，解压2下载的TensorRT-5.1.5.0。解压后将文件夹TensorRT-5.1.5.0/lib的完整路径加入到环境变量LD_LIBRARY_PATH中，激活环境变量。

解压下载好的3，在3的文件夹内运行：./install.sh python3 准备完成

4.模型转化：

from tf_trtt_models.detection import build_detection_graph
import tensorflow.contrib.tensorrt as trt
import tensorflow as tf

frozen_graph, input_Names, output_names = build_detection_graph(config="pipline.config路径"，
checkpoint="ckpt路径"，
batch_size = (2 4 6 8....自己选吧))
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction = 0.67)

trt_graph = trt.create_inference_graph(
                input_graph_def=frozen_graph,
                outputs=output_names,
                max_batch_size=batch_size,
                max_workspace_size_bytes=workspace_size,
                precision_mode=“fp16”)

with open("name.pb","wb") as f:
  f.write(trt.graph.SerializeToString())

模型转化完毕

5.测试：

和以前测试不同的是，需要讲待测试图像，batch个合并到一起，输入到网络中