TensorRT之createInferBuilder

在 NVIDIA TensorRT 中，createInferBuilder() 是用于创建 IBuilder 对象的函数。TensorRT 是一个用于高性能深度学习推理的库，支持在 NVIDIA GPU 上进行加速。

以下是 createInferBuilder() 函数的一般用法：

#include <NvInfer.h>

// 创建 TensorRT 推理构建器
nvinfer1::IBuilder* builder = nvinfer1::createInferBuilder(logger);

其中：

• nvinfer1::IBuilder 是 TensorRT 中的推理构建器接口，用于构建和配置推理引擎。
• logger 是一个用于记录 TensorRT 操作和错误的日志接口，通常通过 createInferLogger() 函数创建。

具体而言，createInferBuilder() 函数的作用是创建一个用于构建 TensorRT 推理引擎的构建器对象。使用这个构建器对象，你可以配置模型的优化选项、精度、批大小等参数，然后构建一个推理引擎，该引擎可以在 NVIDIA GPU 上进行加速推理。

以下是一个更完整的示例，包括创建 Logger 和设置构建器的一些选项：

#include <NvInfer.h>

// 创建 TensorRT 日志记录器
nvinfer1::ILogger* logger = nvinfer1::createInferLogger(nvinfer1::ILogger::Severity::kINFO);

// 创建 TensorRT 推理构建器
nvinfer1::IBuilder* builder = nvinfer1::createInferBuilder(*logger);

// 设置构建器的一些选项，如精度、最大批大小等
builder->setFp16Mode(true);
builder->setMaxBatchSize(32);

// 在使用完毕后，记得释放资源
builder->destroy();
logger->destroy();