tensorrt:network must have at least one output错误分析

最新推荐文章于 2023-12-30 11:45:29 发布
原创 最新推荐文章于 2023-12-30 11:45:29 发布 · 2.8k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档主要介绍了在使用TensorRT解析ONNX模型时可能遇到的错误，包括`create_network()`参数设置以及ONNXParser解析失败等问题。解决方案涉及调整`create_network()`参数、适配TensorRT和PyTorch版本、替换不支持的操作以及使用onnxsim优化模型。对于解析失败，可能是由于TensorRT不支持某些ONNX操作，需要手动或自动替换。建议使用较低版本的PyTorch生成ONNX文件，并对模型进行适当简化和优化。
部署运行你感兴趣的模型镜像

该错误出现的情况通常为:

1. 

with trt.Builder(TRT_LOGGER) as builder, builder.create_network(1) as network, trt.OnnxParser(network, TRT_LOGGER) as parser:

create_network()里的参数尝试设为0或者1进行解决, 一般情况下我在tensorrt6.0系列中不进行设置(默认为0), 在tensorrt7.0系列中设为1.

2.

OnnxParser在解析onnx文件时没解析成功,这个问题一方面可能涉及到pytorch和tensorrt版本的问题,另一方面可能涉及到网络模型有些操作, tensorrt中的onnx解析器不支持,解析不了.

第一方面, tensorrt6.0系列只能使用pytorch1.2及以下版本. 所以需要使用torch1.2生成onnx文件.

第二方面, 就要将一些不支持的操作进行替换, 比如expand_as等操作

有时候上述两方面原因都有, 都需要进行调整. 有时候也需要使用onnxsim命令将onnx文件进行优化, 将某些不支持的操作进行自动替换.

 

当然出现这种问题的原因还有其他类型的, 不过希望对您有所启发!

您可能感兴趣的与本文相关的镜像

PyTorch 2.6

PyTorch 2.6

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

TensorRT：NvInfer.h-上篇
微风❤水墨
08-14 3643
版本：5.1.5.0 工欲善其事必先利其器，后面需要使用RT插件，所以还是得学习一下RT的相关代码 NvInfer.h中声明和定义了RT中的大部分变量、函数、类等 RT中代码格式较为统一，大体看了设定规则 枚举变量：k+全大写，kFLOAT，kGPU，kCHANNEL 类内变量：k+首字母大写，nbDims 类内函数：小写+首字母大写，setNames(), setInput() 不能派生或者继承的：用大写的“I”进行了标识 0：命名空间：nvidia + infer --- &gt...
《Python基础教程》内容总览篇（持续更新中）
热门推荐
weixin_43178406的博客
08-26 31万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为优快云博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
onnx转TensorRT模型报错
qq_35037684的博客
05-19 1213
或不支持反卷积操作，其实都是版本环境问题导致的，TensorRT版本由8.2.1更改为版本TensorRT 8.4.2 GA Update 1即可。onnx模型在转tensorRT模型时，遇到报错如下。2. 或者是不能支持一些算子。
TensorRT 5/6/7 加载onnx模型
qq_23116521的博客
07-27 5970
TensorRT5/6加载并转换onnx: def onnx_2_trt(onnx_model_name,trt_model_name): with trt.Builder(G_LOGGER) as builder, builder.create_network() as network, trt.OnnxParser(network, G_LOGGER) as parser: builder.max_batch_size = 1024 builder.
Tensorrt加速Tensorflow推断速度(python和c++)
jiugeshao的专栏
03-20 4144
博主的环境配置可参考之前博客。 Ubuntu配置TensorRT及验证_竹叶青lvye的博客-优快云博客博主的一些基本环境配置可见之前博客非虚拟机环境下Ubuntu配置_jiugeshao的专栏-优快云博客第一步: 准备安装AnacondaAnaconda3-5.2.0-Linux-x86_64.shhttps://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.shhttps://blog.youkuaiyun.com/jiugeshao/artic
[TensorRT] ERROR: Network must have at least one output
jacke121的专栏
03-31 6887
[TensorRT] ERROR: Network must have at least one output
讲解[TensorRT] ERROR: Network must have at least one output
牛肉胡辣汤
12-30 1338
TensorRT（TensorRT ）是一个高性能深度学习推理优化器和运行时引擎，用于在 NVIDIA GPU 上加速深度学习推理。然而，在使用TensorRT时，我们可能会遇到一些错误提示。。本文将详细解释这个错误的含义，以及如何解决它。当遇到错误时，我们可以通过检查模型定义、检查模型加载过程、确认输入和输出以及更新TensorRT版本等方法来解决。重要的是要确保模型中有正确定义的输出层，以便TensorRT能够正确处理推理操作。
Network has dynamic or shape inputs, but no optimization profile has been defined. In nvinfer1::Network::validate at optimizer/api/network.cpp:3756
最新发布
08-19
另外，引用[2]和[4]提到了另一个错误："Network must have at least one output"，这通常是因为解析模型失败，可能由于模型中的某些操作不被TensorRT支持。因此，如果上述优化配置文件的设置仍然不能解决问题，可能...
TensorRT采坑api
CatkinLX的博客
07-23 2726
文章目录TensorRT链接采坑 APInvinfer1::INetworkDefinitionaddReduce内存管理总结 TensorRT链接 官方API链接：https://docs.nvidia.com/deeplearning/tensorrt/api/c_api/ 采坑 API nvinfer1::INetworkDefinition add各种layer的文档写的真的是，一言难尽 addReduce 头文件和文档注释： //! \param input The input tensor
class GraspDatasetBase(torch.utils.data.Dataset): """ An abstract dataset for training GG-CNNs in a common format. """ def __init__(self, output_size=300, include_depth=True, include_rgb=False, random_rotate=False, random_zoom=False, input_only=False): """ :param output_size: Image output size in pixels (square) :param include_depth: Whether depth image is included :param include_rgb: Whether RGB image is included :param random_rotate: Whether random rotations are applied :param random_zoom: Whether random zooms are applied :param input_only: Whether to return only the network input (no labels) """ self.output_size = output_size self.random_rotate = random_rotate self.random_zoom = random_zoom self.input_only = input_only self.include_depth = include_depth self.include_rgb = include_rgb self.grasp_files = [] if include_depth is False and include_rgb is False: raise ValueError('At least one of Depth or RGB must be specified.')
06-05
这段代码是一个抽象类 GraspDatasetBase，用于在一个通用的格式中训练 GG-CNNs。该类的构造函数包含了多个参数，例如输出图像的大小、是否包括深度图像、是否包括 RGB 图像、是否进行随机旋转、是否进行随机缩放以及...
ERROR: Network must have at least one output解决方法
weixin_43216130的博客
07-19 2066
ERROR: Network must have at least one output 解决方法 给代码中create_network()传如下参数 explicit_batch = 1 << (int)(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH) builder.create_network(explicit_batch)
[TensorRT] ERROR: Network must have at least one output[TensorRT] ERROR: Network validation failed.
ze1336365763的博客
06-04 1504
1、pytorch模型转为onnx后用tensorRT量化加速时，报这个问题。 OnnxParser在解析onnx文件时没解析成功,这个问题一方面可能涉及到pytorch和tensorrt版本的问题,另一方面可能涉及到网络模型有些操作, tensorrt中的onnx解析器不支持,解析不了. 第一方面, tensorrt6.0系列只能使用pytorch1.2及以下版本. 所以需要使用torch1.2生成onnx文件. 第二方面, 就要将一些不支持的操作进行替换, 比如expand_as等操作 有时候上
pytorch->onnx->trt 踩坑记录
Nonentity never give up ? neuer : loser
04-30 7645
ERROR: ModelImporter.cpp:296 In function importModel: [5] Assertion failed: tensors.count(input_name) 问题原因： pytorch版本为1.4.0，pytorch版本过高引起的onnx解析问题.(据悉这个解析问题会发生在trt5.0-6.0,trt7.0不会出现，详见trt6转torch1.2以上...
一文玩转pytorch转onnx-tensorRT ——（C）测试onnx转tensorRT
daniaokuye的专栏
11-15 3860
说明 前文讲到了如何在onnx注册自定义层，以便onnx parsing时找到所对应的层。 在示例demo前，贴出遇到的问题 问题: ONNX and tensorRT: ERROR: Network must have at least one output 开始当作正常bug去处理的，找到了一些参考资料：1）既然没有输出，就标记一个输出; 2）input可能出现的问题 后来发现上面的方式对...
onnx tensorRT insightface 实践
m0_37192554的博客
06-18 1705
一、环境问题 1、查看自己的电脑版本 cuda 版本 cat /usr/local/cuda/version.txt cudnn 版本 cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 不显示 运行如下命令 cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2 CUDA Version 11.0.207 #define CUDNN_MAJOR 8 #def
Tensorrt python接口代码详解
weixin_39853245的博客
01-03 2981
1 build engine（不同模型代码不一） 可选择是否添加的代码： （1）workspace size （2）max_batchsize （3）calibrator: float32->int8或fp16 2 对engine分配内存 3 使用builder创建context 4 加载数据 5 inference操作： （1）Transfer input data to the GP...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值