TensorRT使用自定义Plugin注意

最新推荐文章于 2025-12-01 08:55:27 发布

原创最新推荐文章于 2025-12-01 08:55:27 发布 · 372 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#边缘计算

Jetson 专栏收录该内容

16 篇文章

订阅专栏

本文介绍了CUDA插件中的enqueue函数，该函数用于处理batchSize数量的输入和输出数据，其中inputs和outputs数组包含了每个输入或输出层的NCHW信息。对于refinedet层，inputs包含8个输入，每个元素为指向NCHW数据的float指针。同时，PluginCreator创建插件时，必须指定非空的namespace，以避免错误。

1. plugin中的enque的inputs、outpus解释

    int RefineDetectorLayerPlugin::enqueue(int batchSize, const void* const* inputs, void** outputs, void* workspace, cudaStream_t stream)；

inputs和outputs是一个数组，数组的内存储的是每一个输入或输出层的NCHW信息。
如果refinedet层，inputs有8个输入，则inputs是一个float[8]的类型。
其中的每一个元素是一个float指针，指向的是NCHW组织方式的数据。
所以，如果使用batchSize，则每一个batch的指针为inputs[layer] + batch * c * h * w。

2. PluginCreator在创建plugin时，必须指定plugin的namespace，即plugin的接口getPluginNamespace必须返回非空值，否则将会出错。