onnx-＞tensorRT模型转换错误集

原创 已于 2023-01-04 15:10:10 修改 · 2.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tensorRT部署模型 #onnx转换tensorRT

于 2023-01-04 15:05:12 首次发布
在尝试将ONNX模型转换为TensorRT时遇到错误，具体是调用tensorrt.tensorrt.ICudaEngine的deserialize_cuda_engine()函数时参数不匹配。错误指出提供的参数类型不正确，期望的是一个Runtime对象和一个序列化的引擎缓冲区。问题可能源于模型大小超过内存限制，导致设置的内存池限制过小。
部署运行你感兴趣的模型镜像

onnx->tensorRT模型转换错误集

1.tensorrt.tensorrt.ICudaEngine
TypeError: deserialize_cuda_engine(): incompatible function arguments. The following argument types are supported:
   1. (self: tensorrt.tensorrt.Runtime, serialized_engine: buffer) -> tensorrt.tensorrt.ICudaEngine

Invoked with: <tensorrt.tensorrt.Runtime object at 0x7feecb3c6530>, None

函数定位：set_memory_pool_limit ->原因：模型太大，设置限制的值过小
config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 4096*(1 << 20))
设置最大工作空间大小，层实现需要一个临时工作空间，并且此参数限制了网络中任何层可以使用的最大大小；
当提供的工作空间不足，TensorRT 可能无法找到层的实现；

您可能感兴趣的与本文相关的镜像

PyTorch 2.8

PyTorch 2.8

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

深度学习模型服务端部署：Triton server+TensorRT【PyTorch格式----＞ONNX格式----＞TensorRT格式----＞利用Triton server部署】
u013250861的博客
08-01 2395
本来是想着直接用简单的Flask+TensorRT去做服务端的，但是奈何我比较懒，现在已经沉溺于Python，再去花费时间学一个Flask我估摸着时间不够，于是百度之后发现了Tritonserver，这个是NVIDIA自己做的开源产品，支持GRPC和HTTP，还说支持C API直接访问（这部分不了解，相关视频后续在官方教程里会给出）sid=493256最后说一下为什么要选择TensorRT。
TensorRT：在NVIDIA各种GPU硬件平台下运行的高性能推理C++库【Pytorch-＞ONNX-＞TensorRT】【实现神经网络提速(读取ONNX模型并运行)】【目前对ONNX的支持最好】
u013250861的博客
05-08 3740
一、什么是TensorRT TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。 它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。 我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。 速度提升的比例是比较可观的。 借官方的话来说： The cor
BUGFix：onnx -＞ TensorRT转换过程失败
SimpleLearning
08-22 1407
onnx2TensorRT
Python-Debug 2021-12-27
weixin_43003352的博客
12-27 1004
Python-Debug 问题 先来点头疼的 在编程学习的过程中，由于第三方库会出现更新换代的情况，而由此发生的改变就是之前对类的调用可能因为官方添加了参数而导致发生一些错误，如果您在学习过程中出现如下错误： TypeError: create_bool(): incompatible function arguments. The following argument types are supported: 1. (arg0: bool) -> mediapipe.python._fr
（四）TensorRT | 基于 GPU 端的 Python 推理
Skies_的博客
09-03 3986
本文主要介绍在 GPU 端下基于 TensorRT 的 Python 推理
TensorRT onnx转engine报Assertion failed: dims.nbDims == 4 || dims.nbDims == 5
修炼之路
08-27 2737
错误信息 在使用TensorRT将onnx转为engine的时候报错，错误信息如下 [08/27/2021-15:27:08] [I] === Model Options === [08/27/2021-15:27:08] [I] Format: ONNX [08/27/2021-15:27:08] [I] Model: glintr100.onnx [08/27/2021-15:27:08] [I] Output: [08/27/2021-15:27:08] [I] === Build Options =
TensorRT 系列 -转化问题中遇到的问题记录
小白cvnice的博客
05-19 543
网络的输出一直有问题，比如输出值一直是1.7515477e+37这种极大的数 这个问题我一开始也不确定是什么问题，最后是在将图片数据格式转为np.float32解决的。
Tensorrt的使用：pytorch-＞onnx-＞trt
nuo112的博客
03-29 2357
0. 电脑环境(此环境可供参考，因为本人在配置时，尝试不少版本间的配合使用！！！难受！！！) 系统：Ubuntu 18.04 cuda: 10.2 cudnn: 8.0.2(推荐配置8.2.1) torch: 1.10.0 torchvision: 0.11.2 1. pytorch转onnx参考如下博客进行转换： Pytorch分类模型转onnx以及onnx模型推理 - 知乎（一）Pytorch分类模型转onnx 参考：PyTorch之保存加载模型PyTorch学习：加载模型和参数_lscelor
Pytorch-Onnx-Tensorrt模型转换教程案例
weixin_44533869的博客
06-10 1281
Pytorch-Onnx-Trt
在NVIDIA Jetson Xavier NX上把yolov4-deepsort的模型pb模型使用tensorflow-onnx和onnx-tensorrt工具最终转换为tensorrt模型
2401_88244350的博客
11-11 1354
文章目录1 安装tensorflow-onnx环境和把tensorflow的pb模型转换为onnx模型1.1 安装tensorflow2onnx环境1.2 把tensorflow的pb模型转换为onnx模型1.2.1 把tensorflow的pb模型转换为onnx模型1.2.2 转可能报错1：OSError: SavedModel file does not exist at: checkpoints//{saved\_model.pbtxt|saved\_model.pb}1.2.3 转可能报错2：`Va
解决TensorRT同一数据每次返回结果都不一致问题
努力是为了躺平
07-21 2606
问题描述： 最近进行把TF的模型转化为UFF文件部署到TensorRT。在进行测试的时候发现一个问题，同一个数据使用TRT进行推理，但是每次结果都不一样。输出的结果本应是softmax算子输出结果， 但是输出的结果看着都是随机的，而且数值求和结果非1，而是有的非常大，有的非常小。 排查了一整天发现是因为我的日志头文件导入的顺序导致这个问题。 #include "easylogging++.h" #include "common.h" #include "buffers.h" #include "Nv
onnx模型转TensorRT模型时出错
weixin_48192326的博客
06-08 1671
【代码】把onnx模型转TensorRT模型出错。
onnx转TensorRT模型报错
qq_35037684的博客
05-19 1209
或不支持反卷积操作，其实都是版本环境问题导致的，TensorRT版本由8.2.1更改为版本TensorRT 8.4.2 GA Update 1即可。onnx模型在转tensorRT模型时，遇到报错如下。2. 或者是不能支持一些算子。
关于出现 Deserialize the cuda engine failed问题
aswghj的博客
02-12 1621
关于出现 Deserialize the cuda engine failed问题
TypeError: z_(): incompatible function arguments. The following argument types are supported: 问题解决
热门推荐
Chris_zhangrx的博客
04-02 1万+
一般运行 python 脚本遇到这种问题都是给的参数不是严格匹配函数需要的输入的，这种需要具体情况具体分析，但是主要解决就是好好检查自己的代码，函数输入哪里会存在不匹配的地方。 以我下面的代码为例，注册 Pytorch plugin 算子时： //修改前 def symbolic_plugin(g, arg0, arg1, arg2): return g.op('plugin, g, arg0, arg1, arg2) 这个可能之前某些情况下确实可以正常运行，但是随着代码更新或者接口调
从0到1配置TensorRT环境
qq_45893319的博客
10-25 1533
配置TensorRT环境
TensorRT的Python接口解析
专注于人工智能领域的小何尚
06-12 1560
本章说明 Python API 的基本用法，假设您从 ONNX 模型开始。 onnx_resnet50.py示例更详细地说明了这个用例。Python API 可以通过tensorrt模块访问： 1. 构建阶段 要创建构建器，您需要首先创建一个记录器。 Python 绑定包括一个简单的记录器实现，它将高于特定严重性的所有消息记录到 。 或者，可以通过从类派生来定义您自己的记录器实现： 然后，您可以创建一个构建器： 1.1. 在Python中创建网络定义 创建构建器后，优化模型的第一步是创建网络定义： 为了使用
解决：TypeError: z_(): incompatible function arguments. The following argument types are supported
nings666的博客
12-02 3790
背景 在使用之前的代码通过Dlib进行人脸识别时，报错： Traceback (most recent call last): File "FaceRecognizeHaarCascade copy.py", line 13, in return g.op('plugin', g, arg0, arg1, arg2) TypeError: __call__(): incompatible function arguments. The following argument ty
复杂模型的Pytorch到Tensorrt转换以及Plugin编写
工长山的专栏
12-20 9887
文章目录背景准备工作简单案例Pytorch->ONNXONNX->TensorRT复杂案例编译自定义算子并运行demo转换为onnx准备步骤转换代码异常解析自定义算子转换为Tensorrt转换脚本异常解析之topK修改pytorch源码修改tensorrt源码重新转换异常解析之NonZero自定义算子NMS加入自定义torch层修改torch调用修改TensorRT源码自定义算子RoiAlign（略）运行tensorrt模型运行脚本异常解析总结 背景 在实际工作当中，训练的模型到实际使用还需要有
下载onnx-tensorrt
最新发布
01-05
可以通过转换一个简单的 ONNX 模型至 TensorRT 引擎来进行初步检验： ```bash source /path/to/tensorrt/bin/setup_environment.sh onnx2trt my_model.onnx -o my_engine.trt ``` 如果一切顺利，则表示 ONNX-...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值