TensorRT动态输入尺寸下的自定义op巨坑

最新推荐文章于 2024-08-06 09:45:02 发布

Ehrich wen

最新推荐文章于 2024-08-06 09:45:02 发布

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： TensorRT 推理框架深度学习文章标签： python tensorflow 深度学习

本文链接：https://blog.youkuaiyun.com/Fenplan/article/details/121426137

首先，关于自定义插件基本问题，这里我就不再赘述了
如何写一个插件：参考此处
如何在python 或 C++中使用自定义插件：参考此处

自定义op需要编写：getOutputDimensions，我们会根据inputs来推断output dimensions，如：

nvinfer1::DimsExprs DReflectPadPlugin::getOutputDimensions(int outputIndex, const nvinfer1::DimsExprs *inputs, int nbInputs, nvinfer1::IExprBuilder &exprBuilder) {
   
   
    nvinfer1::DimsExprs output(inputs[0])

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Ehrich wen

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

深度学习开发环境-TensorRT (环境配置看这个)

周陽讀書

01-30

1478

1.什么是TensorRTTensor是一个有助于在NVIDIA图形处理单元（GPU）上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。如今现有的一些训练框架（例如TensorFlow）已经集成了TensorRT，因此可以将其用于加速框架中的推理。

tensorrt动态输入分辨率尺寸

jacke121的专栏

03-27

4059

本文只有 tensorrt python部分涉动态分辨率设置，没有c++的。目录 pytorch转onnx： onnx转tensorrt： python tensorrt推理：知乎博客也可以参考： tensorrt动态输入（Dynamic shapes） - 知乎记录此贴的原因有两个：1.肯定也有很多人需要。2.就我搜索的帖子没一个讲的明明白白的，官方文档也不利索，需要连蒙带猜。话不多少，直接上代码。以pytorch转onnx转tensorrt为例，动态shape是图像的长..

参与评论您还未登录，请先登录后发表或查看评论

python中的rt_tensorRT动态输入（python）

weixin_39911567的博客

12-10

2113

关于tensorRT动态输入的例子大多数都是c++版本的，python版本的较少，这里简单总结下python处理tensorRT动态输入时，遇到的一些问题及解决方案。这里的动态输入是指batch，width，height等不固定大小的输入。对于目标检测等问题，如果将图像压缩到指定长度和宽度，一般会损失一些性能，一般情况下是压缩较小的边到一定数值(例如608，416等)，另一条边按照比例进行压缩，这...

TensorRT动态尺寸输入

Tsuinosora

09-19

6677

TensorRT动态尺寸输入首先可以看一下官方TensorRT文档里的对限制性的一些描述以及一些Profile的一些描述在目前7.0的文档里TensorRT是支持动态输入的，这个章节里面还是有不少东西可以看看的，明确的给了API怎么用，Profile该怎么写。 Dynamic shapes are the ability to defer specifying some or all tensor dimensions until runtime. Dynamic shapes can be use

TensorRt（5）动态尺寸输入的分割模型测试

热爱生活，忠于自己

01-10

1560

这里主要说明使用TensorRT进行加载编译优化后的模型engine进行推理测试，与前面进行目标识别、目标分类的模型的网络输入是固定大小不同，导致输入维度不能直接获取需要自己手动调整的问题。

TensorRT 7 动态输入和输出

我是一个菜鸟，虚心学习的菜鸟。

03-18

5878

这几天折腾了使用TensorRT加速一个BERT模型，在动态输入和输出这一块费了不少的劲，现在把这一块记录下来，算是自己的一点经验吧。。我的环境： torch = 1.5.0 tensorrt =7.0.0.11 我的思路是：（1）Torch模型转onnx （2）Onnx转TensorRT engine文件（3）TensorRT加载engine文件并实现推理一、Torch模型转onnx def torch_2_onnx(model, MODEL_ONNX_PATH ): .

关于Phpstorm+xdebug断点调试踩过的巨坑（不显示自定义变量）

diandian1121的博客

03-05

3061

写给不愿看以下文字的同学：巨坑就是尝试更换你的phpstorm版本！！！！先说一下自己的经历，也是因为调试的需要，所以要用到断点调试，关于如何设置，这个想必不用多说，网山一搜一大堆的攻略，有些网友说这些攻略坑巨多，经过自己的亲生体验，只能说不怪这些攻略教程，确实是坑本身就太多 T_T，接下来我把自己踩过的坑做一个记录，也希望能帮助到同样遇到问题的同学。配置过程这个不用多少，网上的攻略已经很详...

SSM下Shiro的自定义JWT实现

u011478348的博客

01-31

1205

SSM下Shiro的自定义JWT实现前言随着大部分的验证改为Token验证方式，那能否改写Shiro的验证方式，实现自己定义的角色授权和请求拦截呢？ JWT实现产生和使用方式见上一篇以下内容基于自己搭的SSM实现，不同方式搭建的可能有些不一样，提供思路用 1.配置Shiro 这里由于要实现自己的验证方式，和平时的配置有点不一样按照惯例，导入Maven依赖 <!--shiro与jwt权...

linux vector 头文件,【C++】linux下头文件io.h的巨坑

05-23

对于 Linux 平台，头文件 `<vector>` 包含了 C++ STL ...总结来说，头文件 `<vector>` 在 Linux 平台下的使用与在其他平台下的使用基本一致，唯一需要注意的是编译时需要链接 C++ 标准库，并且使用 C++11 及以上版本。

mmdetection-to-tensorrt:将mmdetection模型转换为tensorrt，支持fp16，int8，批输入，动态形状等

03-19

MMDet到张量该项目旨在将mmdetection模型转换为tensorrt模型end2end。现在专注于对象检测。面膜的支持是实验性的。支持： fp16 int8（实验）批量输入动态输入形状不同模块的组合深度支持欢迎提供任何建议，错误报告和建议。执照该项目是根据。要求 mmdet> = 2.3.0 重要的！设置环境变量（在〜/ .bashrc中）： export AMIRSTAN_LIBRARY_PATH= ${amirstan_plugin_root} /build/lib 安装主持人 git clone https://github.com/grimoire/mmdetection-to-tensorrt.git cd mmdetection-to-tensorrt python setup.py develop 码头工人构建docker镜像（注意Te

【TensorRT】TensorRT C# API 项目更新 (1)：支持动态Bath输入模型推理（下篇）

grape_yan的博客

04-10

1540

开发了TensorRT C# API 2.0版本，该版本在开发时充分考虑了上一版本应用时出现的问题，并进行了改进。为了更加方便开发者使用，在本次更新中增加了对动态输入模型的支持，将在本技术文中详细介绍本次更新内容以及应用案例。

onnxruntime和tensorrt动态输入推理

最新发布

taifyang的博客

08-06

1056

导出下面的onnx模型：可以看到，该模型的输入batch以及宽高都是动态的。

TensorRT笔记八（动态推理）

nanjono的博客

05-03

861

注：若onnx文件，则onnx文件打开后应该看到动态或-1 模型中若存在reshape类操作，reshape参数必须随动态进行计算（大部分时候这有问题）除非全卷积网络，大部分时候只需要为batch_size维度设置为动态，其他维度避免设置动态 2.配置profile create: set: 设置, , 的一系列输入尺寸范围 add:添加profile到网络配置中二、推理阶段明确当前推理时，使用的数据输入大小

【TensorRT】TensorRT C# API 项目更新 (1)：支持动态Bath输入模型推理（上篇）

grape_yan的博客

04-10

996

tensorRT 7.0 学习笔记（五）———量化/动态输入shape（c++ api）

qq_27582707的博客

03-22

3037

1.int8 量化首先需要为 Ibuilder 设置校准器（caliborator）主要作用就是通过一定的算法把每层的weights 和输出tensor 映射到 int范围，TRT提供了以下几种校准器：需要在继承其中之一后实现 getBatch()方法，然后调用：为builder设置校准器。同时实现 writeCalibrationCache()andreadCalibrationCache()缓存/载入校准表 builder内部的工作原理： 1.调用 getBa...

C++下将onnx模型转化为TensorRT模型（动态输入输出）

Justin_JGT的博客

04-19

1592

C++下做onnx模型像tensorRT模型转化的代码，其中输入输出为动态。

C++&TensorRT | 推理时动态shape

ASKCOS博客

12-27

1047

2.1.2. 在运行时，向engine请求绑定维度会返回用于构建网络的相同维度。OptimizationProfile是一个优化配置文件，用来指定输入的shape可以变换的范围的，不要被优化两个字。动态shape，即编译时指定可动态的范围[L-H]，推理时可以允许 L

gitblog_00086的博客

05-27

526