TensorRT错误提示getPluginCreator could not find plugin 【找不到的op名称】 version 1的解决方案

最新推荐文章于 2025-02-20 17:14:08 发布

Alex-Leung

最新推荐文章于 2025-02-20 17:14:08 发布

阅读量6.9k

点赞数 23

文章标签： TensorRT python c++

本文链接：https://blog.youkuaiyun.com/a2824256/article/details/121262135

版权

报错提示

getPluginCreator could not find plugin 【找不到的OP名称】 version 1

环境

TensorRT 7.2.3.4

原因

对应op放到了插件库，需加载插件库

Python版本解决方案

import tensorrt as trt
# 在反序列化前加上，trt_runtime.deserialize_cuda_engine(engine)
trt.init_libnvinfer_plugins(None, "")

C++版本解决方案

#include "NvInferPlugin.h"
// 在deserializeCudaEngine()前加上
bool didInitPlugins = initLibNvInferPlugins(nullptr, "");

同时还需要链接nvinfer_plugin.lib

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Alex-Leung

关注关注

23
点赞
踩
25

收藏

觉得还不错? 一键收藏
6
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

【ai】tx2 nx ： yolov4加入initLibNvInferPlugins构建

突围

06-25

159

initLibNvInferPlugins

YOLOV5 TensorRT部署 BatchedNMS(转换engine模型)(上)

qq_42754919的博客

04-23

523

yolov5 tensorrt部署时引入nms plugin，nms在cuda上执行，减少内存拷贝和运行时间

6 条评论您还未登录，请先登录后发表或查看评论

TensorRT-8量化分析

吴建明wujianming_110117

03-17

2376

TensorRT-8量化分析本文讲非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节。这次文章是偏实践的一篇，主要过一下TensorRT对于explict quantization的流程和通用的量化思路。 01 0x01 TensorRT量化都2022年了，量化技术已经很成熟了，各种量化框架[1]和量化算法层出不穷。之前接触过几个量化框架，大部分都是在算法层面模拟一下，实际上无法直接部署到具体的硬件层，也只是停留在算法的层面。而现在成熟的量

TensorRT - 解决INVALID_ARGUMENT: getPluginCreator could not find plugin ScatterND version 1

HW140701的博客

09-19

7845

1 问题出现最近在使用TensorRT 7.2.3.4中的自带的trtexec工具转换yolov3-spp的onnx模型为TensorRT模型文件时出现了找不到ScatterND插件的错误，错误大致如下： ModelImporter.cpp:135: No importer registered for op: ScatterND. Attempting to import as plugin. builtin_op_importers.cpp:3771: Searching for plugin: Sc

import tensorflow as tf，但是Could not find TensorRT

m0_54377950的博客

02-20

1028

检测TensorFlow是否支持GPU时，出现Could not find TensorRT问题。

YOLOV3剪枝项目出现“could not find or load the Qt platform plugin xcb”

happyday_d的博客

12-27

488

YOLOV3剪枝项目出现“could not find or load the Qt platform plugin “xcb”” 配置环境运行剪枝项目：https://github.com/tanluren/yolov3-channel-and-layer-pruning 问题：配置好环境后运行量化剪枝项目训练OK，测试时出现： This application failed to start ...

TensorRT:自定义插件学习与实践 001

ResumeProject的博客

05-02

1516

本文简单列出了编写Tensorrt插件所需要的关键方法,分为两个部分，一是插件类的具体实现方法，另外是插件工厂的调用方法,插件类最终将编译为.so文件,使用时在c++或python中调用,所以插件类的方法调用在其他部分，在本文中难以直观的体现调用流程,需编写并运行代码，体验各个方法在插件生命周期中的作用。关于插件工厂的构造与调用在本文进行了解释。

TensorRT:自定义插件学习与实践 003: (IPluginV2Ext example) Plugin for Swish activation function in TensorRT 6

ResumeProject的博客

05-06

516

【代码】TensorRT:自定义插件学习与实践 003: (IPluginV2Ext example) Plugin for Swish activation function in TensorRT 6。

tensorrt踩坑随笔

kao_lengmian的博客

07-29

3563

问题1 onnxruntime.capi.onnxruntime_pybind11_state.InvalidGraph: [ONNXRuntimeError] : 10 : INVALID_GRAPH : Load model from reid_1_3_256_128_static.onnx failed:This is an invalid model. Error in Node: : Unrecognized attribute: min for operator Clip opset_vers

Android Gradle源码分析

一个码农的博客

06-04

2759

一.如何调试Android Gralde源码最简单的方式如下： 1.配置 gradle.properties 比较方便的做法是配置全局的 gradle.properties，这样对所有 Gradle 工具都适用，配置文件位于 ~/.gradle/gradle.properties，在 gradle.properties 文件中加上 org.gradle.jvmargs 属性： org.gradle.jvmargs=-XX:MaxPermSize=4g -XX:+HeapDumpOnOutOfMemoryE

TensorRT：Nvinfer.h-下篇

微风❤水墨

08-17

805

9：PluginV2类 Pluginv2是新版本的插件接口，部分函数接口与V1是一致的 class IPluginV2 { public: //获取TensorRT的版本，用于向后兼容 //! \brief Return the API version with which this plugin was built. //! //! Do not override this method as it is used by the TensorRT library t.

深度学习+TensorRT-8.2.1.8+模型加速部署

04-12

win10 cuda11.4 cudnn8.2 含 C++和Python API

TensorRT-插件初始化

qq_42178122的博客

11-26

5831

遇到一个问题，就是在使用自定义插件的时候，先通过onnx生成trt模型；然后，加载trt模型，能正常使用。注释：如果先通过onnx生成trt模型，这一步已经做了插件注册。因此，在后面的加载模型，就能正常使用。因为在插件注册表中找不到相应的IPluginCreator，所以需要在加载模型的时候，进行插件注册。1）添加#include "NvInferPlugin.h"的头文件。2）在加载模型的代码处，进行插件注册。

从零开始 TensorRT（4）命令行工具篇：trtexec 基本功能

秋山丶雪绪的博客

02-04

6517

学习资料：TensorRT 源码示例参考源码：cookbook → 07-Tool → trtexec在 TensorRT 的安装目录下有命令行工具 trtexec，主要功能：（1）由 ONNX 文件生成 TensorRT 引擎并序列化为 plan 文件（2）查看 ONNX 或 plan 文件的网络逐层信息（3）模型性能测试，即测试 TensorRT 引擎在随机输入或给定输入下的性能。

官方文档

qq_1191265562的博客

02-19

1680

https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html#example1_add_custlay_c 4.使用自定义层扩展TensorRT TensorRT支持多种类型的层，其功能不断扩展。但是，在某些情况下，受支持的图层不能满足模型的特定需求。在这种情况下，用户可以通过使用以下内容实现自...

TensorRT学习（三）通过自定义层扩展TensorRT

yangjf91的博客

10-21

6121

本文源于学习TensorRT文档《TensorRT-Developer-Guide》第4章“EXTENDING TENSORRT WITH CUSTOM LAYERS”的理解。通过C++API添加自定义层自定义层添加是通过扩展IPluginV2Ext和IPluginCreator类来实现： IPluginV2Ext：IPluginV2的升级版，实现自定义插件的基类，包含版本化和对其它...

win10 tensoRT5.1.5.0 C++推理demo学习

qq_38109843的博客

03-02

1666

先给出比较好的博客参考： https://blog.youkuaiyun.com/hw5226349/article/details/81588176?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task 推理流程 1.日志接口 TensorRT的两种初始化方法： ...

TensorRT优化原理和TensorRT Plguin总结

最新发布

03-13

<think>嗯，用户遇到了ONNX动态输入模型转换到TensorRT失败的问题。我需要先理解ONNX和TensorRT的关系。根据引用[1]，ONNX-TensorRT项目主要是为了给ONNX模型提供TensorRT的支持，而TensorRT是NVIDIA的推理库，用来加速模型。动态输入可能是指输入形状不固定，这在处理不同尺寸的输入时很常见，比如图像或文本处理。用户的问题可能出在动态维度上。TensorRT在转换时需要明确的形状信息，而动态输入可能会导致转换失败。引用[2]提到使用trtexec工具进行转换，但可能需要额外的参数来指定动态维度。例如，用--minShapes、--optShapes和--maxShapes来定义输入的最小、最优和最大形状。这样TensorRT才能为动态输入生成优化引擎。另外，引用[3]中提到了使用ONNX runtime来验证模型是否正确，这一步可能在转换前也很重要。用户可能需要检查ONNX模型是否已经正确简化（比如使用onnx-simplifier），动态维度是否正确标记。如果ONNX模型本身存在问题，比如某些操作不被TensorRT支持，转换也会失败。比如，某些自定义操作或动态控制流可能不被支持，需要替换为兼容的层。还有，用户可能需要明确指定动态维度。在导出ONNX模型时，使用dynamic_axes参数来定义哪些维度是动态的。例如，在PyTorch中使用torch.onnx.export时设置dynamic_axes，确保导出的模型正确标记了动态维度。转换时，trtexec需要这些形状参数来构建引擎。此外，日志分析也很关键。启用verbose输出（如添加--verbose参数）可以帮助查看转换过程中的具体错误，比如不支持的层或形状不匹配。用户需要根据错误信息调整模型结构或转换参数。可能还需要更新软件版本，比如确保ONNX、TensorRT、ONNX-TensorRT的版本兼容。有时新版本修复了旧版本的问题，或者支持更多的操作符。总结步骤应该是：检查动态输入定义是否正确，使用trtexec指定动态形状，验证ONNX模型，处理不支持的算子，检查版本兼容性，查看详细日志定位问题。然后根据具体情况调整模型或转换参数。</think>### ONNX动态输入模型转换至TensorRT失败的解决方案 #### 1. **明确动态输入的定义与限制** 在ONNX模型中，动态输入通常通过`dynamic_axes`参数定义，例如在PyTorch导出模型时指定可变维度。TensorRT对动态输入的支持有限，需满足以下条件： - 动态维度需在转换时通过`--minShapes`、`--optShapes`、`--maxShapes`明确指定[^2]。 - 动态维度仅支持批量大小（batch size）或序列长度（sequence length），某些操作（如Reshape）可能因动态输入导致形状推导失败[^1]。 #### 2. **使用trtexec显式指定动态形状** 通过TensorRT命令行工具`trtexec`，显式定义输入形状的上下限： ```bash trtexec --onnx=model.onnx --saveEngine=model.trt \ --minShapes=input:1x3x224x224 \ --optShapes=input:4x3x224x224 \ --maxShapes=input:8x3x224x224 ``` 此命令为输入名为`input`的张量指定了最小、最优和最大形状，帮助TensorRT生成适配动态输入的引擎[^2]。 #### 3. **验证ONNX模型兼容性** 在转换前，使用以下方法确保ONNX模型符合TensorRT要求： - **简化模型**：使用`onnx-simplifier`优化模型结构： ```bash python -m onnxsim input_model.onnx output_model.onnx ``` 这可以消除冗余操作（如Identity节点）并合并常量[^3]。 - **检查算子支持**：通过`polygraphy`工具验证模型算子是否被TensorRT支持： ```bash polygraphy inspect model model.onnx --mode=op ``` 若存在不支持的操作（如动态切片或循环结构），需替换为等效的静态实现。 #### 4. **处理动态维度相关的常见错误** - **错误示例**：`INVALID_ARGUMENT: getPluginCreator could not find plugin ... version 1` - **原因**：动态输入导致某些层无法推导形状。 - **解决方案**：在导出ONNX模型时，显式标记动态维度： ```python # PyTorch导出ONNX示例 torch.onnx.export(model, (dummy_input,), "model.onnx", dynamic_axes={"input": {0: "batch_size"}}) ``` 转换时在`trtexec`中对应指定动态轴的范围[^3]。 #### 5. **版本兼容性检查** - **TensorRT与ONNX版本匹配**：确保`TensorRT`版本与`onnx-graphsurgeon`、`onnxruntime`等组件兼容。例如： - TensorRT 8.x需搭配ONNX 1.9+。 - 使用`trtexec --version`和`onnx.__version__`确认版本。 #### 6. **调试与日志分析** 启用`--verbose`参数获取详细转换日志： ```bash trtexec --onnx=model.onnx --verbose > log.txt 2>&1 ``` 在日志中搜索`ERROR`或`WARNING`，例如： - **动态Reshape错误**：需固定输出形状或使用`IShuffleLayer`显式定义。 - **不支持的算子**：替换为TensorRT支持的等效实现（如自定义插件）。 --- ###