TensorRT - 最佳实践

最佳实践

使用 trtexec 进行性能基准测试

本节介绍如何使用 trtexec（一个专为 TensorRT 性能基准测试设计的命令行工具）来获取深度学习模型的推理性能测量结果。

如果您使用 TensorRT NGC 容器，trtexec 安装在 /opt/tensorrt/bin/trtexec。

如果您手动安装了 TensorRT，trtexec 是安装的一部分。

或者，您可以使用 TensorRT OSS 仓库从源代码构建 trtexec。

使用 ONNX 文件进行性能基准测试

如果您的模型已经是 ONNX 格式，trtexec 工具可以直接测量其性能。在本示例中，我们将使用 ONNX 模型库中的 ResNet-50 v1 ONNX 模型来展示如何使用 trtexec 测量其性能。

例如，测量批量大小为 4 的 ResNet-50 性能的 trtexec