szfhy的博客

一个自定义插件需要实现两个类，分别继承于class MyPluginDynamic : public IPluginV2DynamicExclass MyPluginDynamicCreator : public IPluginCreator然后使用REGISTER_TENSORRT_PLUGIN(MyPluginDynamicCreator);看其详细定义，也就是将这个插件加入到一个全局链表中，方便trtexec根据op name来查找该插件，这个实现跟ffmpeg中注册编解码器是一个

TensorRT7.0支持的ONNX算子列表https://github.com/onnx/onnx-tensorrt/blob/84b5be1d6fc03564f2c0dba85a2ee75bad242c2e/operators.mdOperator Supported? Restrictions Abs Y Acos Y Acosh Y Add Y And Y ArgMax Y .

bindding 数据类型部一致某个输出的数据类型是int, 忽略了，一直当作是float解析，导致错误。虽然int 和 float 占用内存大小是一样的，但是解析方式错误，导致最终的错误，看来对每个bingding做输入输出校验，是很有必要的。 后期做动态转换也是可以解决Int32 *pInt32Buf = reinterpret_cast<int*>output_binding_float.data();...

对于比较新或者计算OP，tensorrt的响应并没有那么快，这个时候就需要我们自己实现自定义的插件，先开个题吧，后面整理一下代码，再帖上来，不错的链接实现TensorRT自定义插件(plugin)自由！ (qq.com)...

有用的链接NVIDIA工程师的仓库GitHub - zerollzeng/tiny-tensorrt: Deploy your model with TensorRT quickly. 快速使用TensorRT来部署模型参考上述仓库的实现Python成神之路 - xavier平台上YOLOV5的TensorRT加速

trtexec 实现onnx转tensorrt./trtexec --onnx=test.onnx --saveEngine=test.gie --verbose --dumpLayerInfo --dumpOutput --dumpProfile

TensorRT int8推理的精度接近fp32, 但是存储空间更小，对memory的带宽消耗也少，同时推理速度也有一定的提升。是一项很重要的技术。跟fp16和fp32不一样，使用int8推理必须先要做calibriation，其实就是再做浮点数定点化的一些操作,然后将一些关键数据保存下来，下次使用时，就不用重新生成了。这些数据会被记录到一个calibration table的文件中。为了生成calibration table需要准备一个calibration dataset, 通常要500-1000个