一、IBuilderConfig
类核心功能
IBuilderConfig
用于配置TensorRT引擎构建过程的优化参数,包括精度模式、内存限制、动态形状配置等。它是调整模型性能和兼容性的关键接口。
二、主要成员函数
1. 精度模式设置
-
void setFlag(BuilderFlag flag)
启用优化标志,常见选项:BuilderFlag::kFP16
:启用FP16推理(需硬件支持)。BuilderFlag::kINT8
:启用INT8量化(需校准器)。BuilderFlag::kDEBUG
:生成可调试的引擎。
2. 内存管理
-
void setMemoryPoolLimit(MemoryPoolType poolType, size_t size)
设置显存池上限:MemoryPoolType::kWORKSPACE
:层优化工作空间(默认16MB)。MemoryPoolType::kTACTIC_HEAP
:算法选择堆内存。<