TensorRT入门：trtexec开发辅助工具的使用

一、trtexec简介

trtexec 工具是 TensorRT 的命令行工具，位于 TensorRT 的安装目录中，随 TensorRT 的安装就可以直接使用。trtexec，不仅打包了几乎所有 TensorRT 脚本可以完成的工作，并且扩展丰富的推理性能测试的功能。通常我们使用 trtexec 完成下面三个方面的工作，一是由 Onnx 模型文件生成 TensorRT 推理引擎，并且可以序列化为 .plan 文件。二是可以查看 Onnx 或者 .plan 文件的网络的逐层信息。第三是可以进行模型性能测试，也就是测试 TensorRT 引擎基于随机数输入或者是给定输入下的性能，这是其最常用的功能。

二、trtexec使用

1.trtexec常用参数

1. 构建阶段

 2. 运行阶段

完整的trtexec参数说明请参考：TensorRT/samples/trtexec/README.md at release/8.6 · NVIDIA/TensorRT (github.com)

参考资料：

TensorRT教程3：使用trtexec工具转engine_trtexec.exe yolov5s.onnx 转 yolov5s.engine-优快云博客

TensorRT入门：trtexec开发辅助工具的使用-优快云博客