【RT-DETR有效改进】轻量级视觉变换器RepViT改进特征提取网络（轻量化网络）

原创 已于 2024-01-29 15:32:51 修改 · 3.5k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #YOLO #目标检测 #深度学习 #计算机视觉 #python #RT-DETR

于 2024-01-17 03:36:56 首次发布
本文介绍了如何将RepViT，一种轻量级的视觉变换器，应用于RT-DETR的目标检测任务中，以提高模型性能。通过结构重组、扩展比率调整等优化，实现参数量减少且精度提升。详细教程涵盖了RepViT的基本原理、核心代码以及在RT-DETR中的具体修改步骤，包括对网络结构、计算量打印问题的解决等关键修改。

👑欢迎大家订阅本专栏，一起学习RT-DETR👑   

一、本文介绍

本位给大家带来的改进机制是RepViT。它是一种最新发布的网络结构，把轻量级的视觉变换器（就是ViT）的设计理念融入到了我们常用的轻量级卷积神经网络（CNN）里。我尝试把它用在RT-DETR的主干网络上，效果还不错，mAP有一定的提高。我用的是这个网络中最轻量级的版本。 我将其用于在我的数据上实验（包含多个类别其中包含大中小多个目标类别），无论哪种目标，精度均有所提升。接下来，我会展示一下原始版本和我改进后版本在训练上的对比图。之后会在文章中介绍该网络结构，然后教大家如何修改该网络结构,同时修改该主干参数量下降四分之一相对于ResNet18。

专栏链接：RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR

目录

一、本文介绍

二、RepViT基本原理

三、RepViT的核心代码 

四、手把手教你添加RepViT网络结构

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四

4.5 修改五

4.6 修改六

4.7 修改七

4.8 修改八

 4.9 必备修改！

4.10 RT-DETR不能打印计算量问题的解决

4.11 可选修改

五、RepViT的yaml文件

5.1 yaml文件

5.2 运行文件

5.3 成功训练截图

六、全文总结

二、RepViT基本原理

​

官方论文地址： 官方论文地址点击即可跳转

官方代码地址： 官方代码地址点击即可跳转

​​ 

RepViT: Revisiting Mobile CNN F

了解本专栏 订阅专栏 解锁全文
【RT-DETR涨点改进】独家创新特征融合改进篇 | SCI 一区 2025 | 通道拼接融合已过时！用 DPCF 给 RT-DETR 加了“放大镜”保留细节特征，小目标检测容易被看见！
Ai缝合怪、助力小伙伴高效发论文
09-13 620
本文提出了一种改进RT-DETR目标检测模型的方法，通过引入DPCF模块来优化特征融合过程。DPCF模块通过自适应权重平衡高低分辨率特征，有效提升小目标和复杂场景下的检测精度。实验表明，该方法在多个数据集上显著提升性能（如IoU提升2.28%），同时保持较低计算开销。文章详细介绍了DPCF的网络结构、核心代码实现，并提供了三种改进模型配置方案（rtdetr-l/r18/r50-DPCF.yaml），为RT-DETR的性能优化提供了实用解决方案。
RT-DETR 模型的改进：PAN 结构与 MobileViT 的融合 | VOC2007 强势涨点 !
YOLOv8项目贡献者
10-23 2006
RT-DETR 模型的改进：PAN 结构与 MobileViT 的融合 | VOC2007 强势涨点 !
【RT-DETR涨点改进】全网独家首发、主干改进篇 | AAAI 2026 | PartialNet 主干让 RT-DETR 更加强大！引入部分通道机制 和 部分注意力卷积，全方面提升目标检测性能
最新发布
Ai缝合怪、助力小伙伴高效发论文
11-18 257
本文提出了一种改进RT-DETR检测器的主干网络PartialNet，通过引入部分通道机制(PCM)和部分注意力卷积(PATConv)，在保持检测精度的同时显著提升了计算效率。该方法将特征图通道划分为不同部分，分别应用卷积、注意力等操作，减少了计算量和内存占用。PartialNet包含三种规格(PartialNet_s/m/l)，支持动态调整计算复杂度，在ImageNet-1K和COCO数据集上表现出色，特别适合实时目标检测和边缘计算场景。文章详细介绍了网络架构、核心优势及实现方法，包括代码修改步骤。
YOLOv8改进 | 添加注意力篇 | 2024最新的空间和通道协同注意力模块SCSA改进yolov8有校涨点（含二次创新C2f）
Snu77的博客
11-03 7612
到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，本专栏目前为新开的平均质量分98分，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制。
RT-DETR算法改进【NO.1】借鉴CVPR2024中的StarNet网络StarBlock改进算法
m0_70388905的博客
05-29 1447
借鉴CVPR2024中的StarNet网络StarBlock改进RT-DETR算法
【RT-DETR有效改进】轻量级下采样方法ContextGuided（参数量下降700W，轻量又涨点）
Snu77的博客
02-06 7445
本文给大家带来的是改进机制是一种替换Conv的模块，其是在CGNet论文中提出的一种模块，其基本原理是模拟人类视觉系统依赖上下文信息来理解场景。CG block 用于捕获局部特征、周围上下文和全局上下文，并将这些信息融合起来以提高准确性。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进，同时本文的改进也支持主干上的即插即用，本文内容也支持PP-HGNetV2版本的修改。
RT-DETR算法改进：更换损失函数XIoU损失函数，相比较CIoU改进涨点，YOLO改进Trick，提升网络模型性能、收敛速度和鲁棒性，提升RT-DETR检测精度
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-20 1220
RT-DETR算法改进 | 更换损失函数XIoU损失函数
RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
01-29 2万+
Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。
RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-03 2万+
1️⃣本专栏已更新260多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-4。项目介绍在大家购买专栏后，加入学习
【RT-DETR有效改进】 | 主干篇 | EfficientViT高效的特征提取网络完爆MobileNet系列(轻量化网络结构)
Snu77的博客
01-23 2799
本文给大家带来的改进机制是主干网络，一个名字的特征提取网络(和之前发布的只是同名但不是同一个)，其基本原理是提升视觉变换器在高效处理高分辨率视觉任务的能力。它采用了创新的建筑模块设计包括三明治布局和级联群组注意力模块。其是一种高效率的特征提取网络训练速度非常快，推理速度也要比基础版本的要快，其效果完爆之前的MobileNetV3等轻量化网络模型。欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。欢迎大家订阅我的专栏一起学习YOLO!
【目标检测】RT-DETR
weixin_44184852的博客
05-16 2115
在CVPR 2024上，研究者提出了一种名为RT-DETR的实时目标检测器，首次在速度和精度上超越了YOLO系列模型。RT-DETR通过设计高效混合编码器和不确定性最小化查询选择机制，解决了传统DETR模型计算成本高的问题，并消除了非极大值抑制（NMS）对检测速度和精度的负面影响。实验结果显示，RT-DETR在COCO数据集上达到了53.1%/54.3% AP，并在T4 GPU上实现了108/74 FPS，显著优于现有YOLO模型。此外，RT-DETR支持通过调整解码器层数灵活调节速度，无需重新训练即可适应
【RT-DETR有效改进】轻量化CNN网络MobileNetV2改进特征提取网络
Snu77的博客
01-19 1846
本文给大家带来的改进机制是，其是专为移动和嵌入式视觉应用设计的轻量化网络结构。其在MobilNetV1的基础上采用反转残差结构和线性瓶颈层。这种结构通过轻量级的深度卷积和线性卷积过滤特征，同时去除狭窄层中的非线性，以维持表征能力。MobileNetV2在性能上和精度上都要比V1版本强很多，其在多种应用（如对象检测、细粒度分类、面部属性识别和大规模地理定位）中都展现了一定的有效性。RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR。
YOLO/RtDETR改进创新
llz19670的博客
07-22 1008
随着Mamba在序列建模上的效果，Mamba进入到了视觉任务，在视觉任务中主要是采用双向的SSM结构，在YOLO或者是RTDETR中有一个C2F结构，在yolov10中修改成了C2f-CIB结构，这里的创新是将CIB替换了原先的Bottleneck块，同样的我们做的一个工作是使用Mamba2中的SSD模块替换CIB从而将C2fCIB改为了我们的C2f-SSD模块。
【MFEN：轻量级多尺度特征提取：SR网络】
weixin_43690932的博客
01-14 9883
仅供自己参考
【RT-DETR有效改进】结合SOTA思想利用双主干网络改进RT-DETR（全网独家创新，重磅更新）
Snu77的博客
03-04 8550
本文给大家带来的改进机制是结合目前SOTAYOLOv9的思想利用双主干网络来改进YOLOv8（本专栏目前发布以来改进最大的内容，同时本文内容为我个人一手整理全网独家首发 | 就连V9官方不支持的模型宽度和深度修改我都均已提供，本文内容支持RT-DETR全系列模型均可使用，本文的内容超级适合想要发表论文的读者创新性不够，工作量不够的，本文的改进在感官上给人就有一种工作量多和创新点十足的感觉，同时本专栏内容以后均采用NEU-DET数据集进行对比实验模型（避免大家质疑数据集质量的问题），本文内容为独家整理！。
RT-DETR改进|爆改模型|涨点|使用VMamba作为骨干网络（附代码+修改教程）
m0_51665349的博客
10-09 6605
本文修改的模型是RT-DETR，在原本的RT-DETR中，使用ResNet作为骨干网络，本文使用最新的VMamba（Visual State Space Model）替换ResNet作为RT-DETR的骨干网络。VMamba是一种全新的视觉框架，VMamba结合了CNNs和ViTs的优势，同时优化了计算效率，能够在保持全局感受野的情况下实现线性复杂度。
【RT-DETR有效改进】InnerIoU思想结合传统 EIoU、SIoU、WIoU损失思想（小目标涨点效果明显）
Snu77的博客
11-28 4324
本文给大家带来的是RT-DETR最新改进，为大家带来最近新提出的InnerIoU的内容同时用Inner的思想结合SIoU、WIoU、GIoU、DIoU、EIOU、CIoU等损失函数，形成 InnerIoU、InnerSIoU、InnerWIoU、等新版本损失函数，同时还结合了AIpha思想，形成的新的损失函数，其中Inner的主要思想是：引入了不同尺度的辅助边界框来计算损失，(该方法在处理非常小目标的检测任务时表现出良好的性能(但是在其它的尺度检测时也要比普通的损失要好)。
RT-DTER最新创新改进系列：BiFormer（CVPR 2023最新提出），基于动态稀疏注意力构建高效金字塔网络架构，用动态、查询感知的方式实现计算的有效分配，嘎嘎提升目标检测效果！
B站 Ai学术叫叫兽的文案地
09-07 1394
BiFormer是CVPR 2023提出的一种新型动态稀疏注意力网络，通过双层路由机制实现高效计算分配。它采用查询感知的稀疏注意力，在区域级别过滤不相关键值对，仅保留关键区域进行细粒度交互，显著降低了计算复杂度。基于该模块构建的金字塔网络在图像分类、目标检测等任务中表现出色，尤其擅长小目标检测。实验表明，BiFormer在保持模型性能的同时，相比传统Transformer大幅提升了计算效率。该方法通过动态、内容自适应的稀疏注意力机制，解决了视觉Transformer中内存占用大、计算代价高的问题，为计算机视
【RT-DETR有效改进】Best Paper | DAttention (DAT)可变形注意力机制和动态采样点
Snu77的博客
02-22 4462
本文给大家带来的是YOLOv8改进的教程，其发布于2022年CVPR2022上同时被评选为Best Paper由此可以证明其是一种十分有效的改进机制，其主要的核心思想是引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，
redetr模型
03-22
### Redetr模型简介 Redetr 是基于 DETR (End-to-End Object Detection with Transformers) 的一种改进版本，旨在解决原始 DETR 模型中存在的收敛速度慢以及计算资源需求高的问题。通过引入新的架构设计和优化策略，Redetr 提供了一种更加高效的端到端目标检测解决方案。 #### 架构特点 Redetr 继承了 DETR 中的核心思想——利用 Transformer 进行全局特征建模，同时摒弃传统的目标检测方法中的 NMS 和 anchor机制[^1]。然而，为了提升效率并减少训练时间，Redetr 对以下几个方面进行了调整： 1. **Transformer 编码器-解码器结构简化**: 原始的 DETR 使用了一个复杂的编码器-解码器框架来提取图像特征并与对象查询交互。而 Redetr 则尝试减少层数或者采用轻量化的注意力模块，在保持性能的同时降低计算开销。 2. **位置嵌入增强**: 通过对像素级的位置信息进行更精细地编码，可以提高模型对于小物体检测的能力。这种方法可能涉及可学习的位置嵌入或者其他形式的空间先验注入技术[^3]。 3. **损失函数微调**: 针对匈牙利匹配算法可能导致不稳定梯度更新这一现象，研究者们提出了多种替代方案或额外正则项加入总损失之中，从而促进更快且平稳地收敛过程。 #### 论文贡献点分析 相比传统的两阶段或多阶段目标检测网络(如 Faster R-CNN)，以及单阶段但依赖于Anchor设定的方法(SSD,YOLO系列),DETR及其变体包括Redetr主要具备如下优势: - 完全去除了手工定义组件比如anchors,proposals等; - 减少了后处理步骤(NMS); - 更加灵活适应不同尺度下的实例分割任务. 具体来说，Redetr进一步推动了这些理念的实际应用价值，并探索如何让transformer更好地服务于计算机视觉领域内的特定子问题—即快速精确地标记图片里的各个感兴趣区域(REgion Of Interest)[^2]. #### 实现细节探讨 以下是实现Redetr的一个简单Python伪代码示例，展示了其基本流程： ```python import torch from torchvision import models class ReDETR(torch.nn.Module): def __init__(self, backbone_name='resnet50', num_classes=91): super().__init__() self.backbone = getattr(models, backbone_name)(pretrained=True) hidden_dim = 256 # Positional encoding and transformer layers omitted here... def forward(self, inputs): features = self.backbone(inputs) # Pass through encoder-decoder architecture... outputs_class = ... # Output logits per query slot. outputs_coord = ... # Predicted bounding boxes coordinates normalized between [0,1]. out = {'pred_logits':outputs_class,'pred_boxes':outputs_coord} return out model = ReDETR() dummy_input = torch.rand((2,3,800,1200)) # Batch size of two images sized at HxW=(800,1200). output = model(dummy_input) print(output['pred_logits'].shape,output['pred_boxes'].shape) ``` 此段脚本仅用于说明目的；实际开发过程中还需要考虑更多因素如数据预处理、评估指标设置等等。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值