swintransformer tensorrt

原创 已于 2022-03-11 11:12:00 修改 · 3.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch #人工智能

于 2022-03-11 11:10:13 首次发布
本文介绍了如何将PyTorch模型导出为ONNX格式，特别提到argmax操作不建议直接导出，因为会导致推理结果出错。解决方法是使用C++重写argmax的后处理步骤。此外，针对TensorRT 8.2.3，无需自定义插件，layernorm和gelu等操作能够成功解析并进行推理。
部署运行你感兴趣的模型镜像

pytorch版本导出onnx的代码大致雷同，op12，定义input,outname，唯一注意的是最后一层argmax不要onnx导出。这个op用onnx导出直接导致推理结果全为0.

如果还有提示pad的错误，可以直接修改inputsize为7的整数倍，去掉pad部分的代码。

tensorrt版本本次选用8.2.3,不需要自定义plugin,layernorm ,gelu都能正确解析推理。

argmax的后处理直接用c++重写，适用于分割。

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

YOLOv11改进：视觉变换器SwinTransformer目标检测网络
weixin_39818775的博客
04-30 1024
本文提出的Swin-YOLOv11目标检测网络，通过将SwinTransformer的强大特征提取能力与YOLOv11的高效检测框架相结合，在保持实时性的同时显著提升了检测精度。实验表明，该方法在COCO等基准数据集上优于原版YOLOv11，特别是在复杂场景和小目标检测方面表现突出。通过灵活的架构设计，可以适配从移动端到服务器端的各种应用场景。未来工作将聚焦于进一步优化计算效率，探索更高效的自注意力机制，以及研究自监督预训练方法。
Swin-Transformer-Object-Detection环境搭建训练流程及问题
weixin_41868417的博客
02-25 4916
一、背景 Swin-Transformer（Swin代表移位窗口shifted window）可以作为计算机视觉的通用backbone。它的github网址是Swin-Transformer，然后它有好几种应用： Getting Started For Image Classification, please see get_started.md for detailed instructions. For Object Detection and Instance Segmentation, please
【TensorRT】Video Swin-Transformer部署相关
MaxeeoveCR的博客
06-10 1390
TensorRT部署推理相关填坑
使用transformer的YOLOv7及TensorRT部署
Wenrui Xie的博客
05-06 2876
最近在github上看到一个博主开源的YOLOv7仓库都惊呆了，YOLOv6都还没出来怎么就到YOLOv7了 稍微看了下，原来作者是基于这两年来很火的transformer做的检测和分割模型，测试的效果都非常棒，比YOLOv5效果好很多。由此可见，基于Transformer based的检测模型才是未来。你会发现它学到的东西非常合理，比从一大堆boudingbox里面选择概率的范式要好一点。话不多说，先上代码链接：https://github.com/jinfagang/yolov7 ...
0819-极智开发-解读机器学习算法之随机森林及示例代码
02-28
0819_极智开发_解读机器学习算法之随机森林及示例代码
【CV学习笔记】transformer-tensorrt加速
Rex大居
05-01 4128
1、前言 transformer在逐渐在cv领域有更多的应用，于是准备利用tensorrt对VIT、SWIN、DETR进行加速，基本做法是现将torch的模型转成ONNX，然后再将ONNX模型转化为engine，其中SWIN在onnx转engine时出现问题，VIT、DETR均未发现问题，其中tensorrt加速以及transformer原理可参考如下两个repo 手写AI:https://github.com/shouxieai/tensorRT_Pro 霹雳吧啦Wz:https://github.com
swin transformer v2转tensorrt踩坑与总结
weixin_42741178的博客
07-12 1516
工程部署swin transformer v2
SwinTransformer源代码
02-21
- **Swin-Transformer-TensorRT**: 此项目专注于探索使用NVIDIA TensorRT对SwinTransformer进行性能优化的方法和技术细节，特别是关于FP16和INT8精度模式下测试结果的研究成果。同样地，如果遇到访问限制，可以通过...
swintransformer加入yolov8
03-18
- **部署优化**：通过TensorRT量化或模型剪枝，压缩集成后的模型体积。例如将FP32模型转换为INT8格式，推理速度可提升2-3倍。 #### 示例代码片段（骨干网络替换）： ```python from models.backbone.swin_...
OpenMMlab导出swin-transformer模型并用onnxruntime和tensorrt推理
taifyang的博客
10-21 1376
通过mmpretrain 导出swin-transformer的onnx文件非常容易，注意需设置 opset_version=12这里是一个坑，刚开始设置的opset_version=11后续转换trtengine的时候会有问题。第三个坑是如果不加上–workspace参数可能会因内存不足报错，LZ的机器有32G内存索性就设了20G的工作空间，可以根据自己的内存大小酌情设置该参数。mmdeploy导出LZ没有尝试成功，不知道是环境配置问题还是在windows系统下库的bug。python推理：（待补充）
Swin Transformer TensorRT 使用教程
gitblog_00345的博客
08-22 1170
Swin Transformer TensorRT 使用教程 项目介绍 Swin Transformer TensorRT 是一个基于 TensorRT 优化的 Swin Transformer 模型部署项目。Swin Transformer 是一种新型的视觉 Transformer 模型，它通过引入层次化的设计，使得模型在处理大规模图像数据时更加高效。该项目通过 TensorRT 的优化，进一步...
Swin-Transformer-TensorRT 项目常见问题解决方案
gitblog_00561的博客
12-22 879
Swin-Transformer-TensorRT 项目常见问题解决方案 1. 项目基础介绍和主要的编程语言 项目介绍： Swin-Transformer-TensorRT 是一个开源项目，旨在探索基于 TensorRT 的 Swin-Transformer 部署。Swin-Transformer 是一种用于计算机视觉的通用骨干网络，通过移位窗口（Shifted Window）机制来计算表示，从而...
字节提出TRT-ViT：面向TensorRT的视觉Transformer，加速显著！
阿木寺的博客
05-22 772
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：集智书童TRT-ViT: TensorRT-oriented Vision Transformer论文：https://arxiv.org/abs/2205.09579本文作者从实际应用的角度重新审视现有的Transformer。它们中的大多数甚至不如基本的ResNets系列高效，并且偏离了现...
swin transformer 转 onnx
blueblood7的专栏
10-29 4510
swin transformer 代码非官方实现，但是好理解。 转 onnx 代码： import torch from swin_transformer_pytorch import swin_t pth_filename = './demo.pth' # 训练好的权重 onnx_filename = './demo.onnx' net = swin_t() weights = torch.load(pth_filename) #net.load_state_dict(weights) n..
Onnx 导出swin transformer
noplaxochia的博客
11-13 548
torch 2.0 支持onnx 17，支持直接导出LayerNormalization。重新配置环境为torch2.0。1. 按照repo配置好swin transformer 环境。2. 在repo 目录下创建文件export.py.4. 简化Layer Normalization。运行以上程序回产生roll算子不支持的报错。然后在运行如上的export程序即可。3. 解决算子不支持的问题。导出结果用netron打开。
SwinTransformer/Video-Swin-Transformer模型导出ONNX格式完全指南
最新发布
gitblog_00105的博客
06-29 434
SwinTransformer/Video-Swin-Transformer模型导出ONNX格式完全指南 前言 在深度学习领域，模型部署是项目落地的重要环节。ONNX（Open Neural Network Exchange）作为一种开放的模型格式，能够帮助开发者实现跨框架的模型转换与部署。本文将详细介绍如何将SwinTransformer/Video-Swin-Transformer模型导出为O...
【Swin-T onnx】swin transformer 转 onnx Error解决
计算机视觉方面的点点滴滴，欢迎一起讨论
10-19 2406
解决方案：torch.cat中第二个参数是dim，不是dims。错误原因：pytorch版本问题，报错的这个版本是1.9.1。解决方案：pytorch版本升级为1.10.1即可。错误原因：torch.cat函数使用错误。推荐使用torch1.10以上的版本。错误原因：roll算子不支持。
探索高效视觉计算的未来：基于TensorRT的Swin Transformer应用实践
gitblog_00762的博客
08-24 1020
探索高效视觉计算的未来：基于TensorRT的Swin Transformer应用实践 在计算机视觉领域，高效的模型部署是实现快速响应和低功耗的关键。今天，我们要介绍一个令人瞩目的开源项目——基于TensorRT的Swin Transformer部署。该项目不仅深度挖掘了Swin Transformer的潜力，还优化了其在实际环境中的应用性，特别是在图像分类任务上展现了卓越性能。 项目简介 Swi...
评论 8
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

josiechen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值