IPluginV2DynamicExt 是 TensorRT 中用于实现动态形状支持的自定义插件的核心接口,适用于处理可变维度输入(如动态Batch、可变分辨率)。以下是其关键功能及实现指南:
一、核心功能
功能 | 说明 |
---|---|
动态形状推导 | 根据输入维度动态计算输出维度 |
多格式支持 | 定义插件支持的输入/输出数据类型(FP32/FP16/INT8)及内存布局 |
高效内存管理 | 显存预分配与复用,减少运行时开销 |
跨平台序列化 | 实现参数的序列化与反序列化,支持模型部署 |
二、必须实现的虚函数
1. getOutputDimensions
DimsExprs getOutputDimensions(
int outputIndex,