【RT-DETR有效改进】 主干篇 | 2024.5全新的移动端网络MobileNetV4改进RT-DETR（含MobileNetV4全部版本改进）

已于 2024-05-08 09:26:02 修改
阅读量2.3k 收藏 21
点赞数 8
分类专栏： RT-DETR有效改进专栏 文章标签： 人工智能 深度学习 python YOLO 计算机视觉 RT-DETR 目标检测
于 2024-05-08 04:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/138550092
版权
本文介绍了MobileNetV4在2024.5月的改进，它针对移动端进行了优化，引入了通用反向瓶颈（UIB）和Mobile MQA注意力模块。通过这些创新，模型在不牺牲准确性的同时提升了推理速度和计算效率。文章详细讲解了MobileNetV4的原理，提供完整代码和修改步骤，帮助读者理解并应用到RT-DETR中。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

👑欢迎大家订阅本专栏，一起学习RT-DETR👑   

 一、本文介绍

本文给大家带来的改进机制是MobileNetV4，其发布时间是2024.5月。MobileNetV4是一种高度优化的神经网络架构，专为移动设备设计。它最新的改动总结主要有两点，采用了通用反向瓶颈（UIB）和针对移动加速器优化的Mobile MQA注意力模块（一种全新的注意力机制）。这些创新有助于在不牺牲准确性的情况下，显著提高推理速度和计算效率。MobileNetV4是一种移动端的网络。

推荐指数：⭐⭐⭐⭐

涨点效果：⭐⭐⭐⭐

 专栏链接：RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR

目录

 一、本文介绍

二、Swin Transformer原理

2.1 Swin Transformer的基本原理

2.2 层次化特征映射

2.3 局部自注意力计算

2.4 移动窗口自注意力

2.5 移动窗口分区

三、 Swin Transformer的完整代码

四、手把手教你添加Swin Transformer网络结构

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四

4.5 修改五

4.6 修改六

4.7 修改七 

4.8 修改八

4.9 必备修改！

4.10 RT-DETR不能打印计算量问题的解决

4.11 可选修改

五、Swin Transformer的yaml文

了解本专栏 订阅专栏 解锁全文
RT-DETR改进策略【Conv和Transformer】| CVPR-2021 Bottleneck Transformers 简单且高效的自注意力模块
Limiiiing的博客
11-27 246
本文记录的是利用优化的目标检测网络模型。标准的卷积操作虽然能有效捕获局部信息，但在处理需要全局信息整合的任务时存在局限性，而自注意力机制能够有效地建模长距离依赖，因此考虑将其引入到视觉架构中。本文利用将标准卷积和自注意力相结合，提高模型的全局感知能力。Bottleneck Transformers for Visual Recognition是一种将自注意力（Self-Attention）融入计算机视觉任务的骨干架构，其设计的原理和优势如下：是通过将ResNet瓶颈块中的空间3×3卷积替换为来构建的（如图所
RT-DETR改进策略【Neck】| SEAM：分离和增强注意模块，解决复杂场景下的小目标遮挡问题
最新发布
Limiiiing的博客
04-17 403
本文记录的是利用 SEAM 模块优化 RT-DETR 的目标检测网络模型。的设计出发点在于解决复杂场景下的人脸遮挡问题，相当于是小目标被其他物体部分遮挡时，传统方法因特征缺失导致检测精度下降的问题。该模块通过增强未遮挡区域的特征响应并补偿被遮挡区域的信息损失，提升模型对遮挡小目标的检测能力。YOLO-FaceV2: A Scale and Occlusion Aware Face DetectorSEAM模块（Separated and Enhancement Attention Module）的设计出发点
RTDETR改进专栏(包含RTDETR、YOLOV5-DETR、YOLOV8-DETR)
热门推荐
qq_37706472的博客
01-28 3万+
RTDETR改进专栏(性价比高，创新度高)，目前RTDETR改进已经有240+个改进点！
YOLOv8改进 | 主干篇 | 2024.5全新的移动端网络MobileNetV4改进YOLOv8（含MobileNetV4全部版本改进）
Snu77的博客
05-08 8733
本文给大家带来的改进机制是MobileNetV4，MobileNetV4是一种高度优化的神经网络架构，专为移动设备设计。它最新的改动总结主要有两点，采用了通用反向瓶颈（UIB）和针对移动加速器优化的Mobile MQA注意力模块（一种全新的注意力机制）。这些创新有助于在不牺牲准确性的情况下，显著提高推理速度和计算效率。MobileNetV4作为一种移动端的网络，其实它的论文中主要是配合蒸馏技术进行改进，大家可以搭配本专栏的蒸馏进行二次创新涨点。
YOLOv8改进 | 主干网络 | 将backbone替换为MobileNetV4【小白必备教程+附完整代码】
kay_545
08-07 2594
yolov8，mobileNetv4，yolov8改进
YOLOv5轻量化改进 | backbone | 结合MobileNetV4（包含多个结构和使用方式）
qq_44224801的博客
08-03 1046
YOLOv5轻量化改进 | backbone | 结合MobileNetV4（包含多个结构和使用方式）
YOLOv8改进策略|MobileNetv4替换主干网络
m0_61698839的博客
07-08 9887
yolov8的改进策略分享|采用mobilenetv4对yolov8的主干网络进行替换
YOLOv10改进 | 主干篇 | YOLOv10引入MobileNetV4
tsg6698的博客
06-16 2326
在其核心，我们引入了通用倒瓶颈（UIB）搜索块，这是一种统一且灵活的结构，融合了倒瓶颈（IB）、ConvNext、前馈网络（FFN）和新颖的额外深度（ExtraDW）变体。Mobile MQA是MNv4的另一个关键组件，这是一个为移动加速器量身定制的注意力块，提供了超过39%的推理加速。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制
Snu77的博客
01-29 2万+
Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。
【RT-DETR有效改进】 添加注意力篇 | 2024最新的空间和通道协同注意力模块SCSA改进RT-DETR有效涨点
Snu77的博客
11-03 2499
本文给大家带来的改进机制是2024最新的空间和通道协同注意力模块（Spatial and Channel Synergistic Attention）SCSA，其通过结合空间注意力（Spatial Attention）和通道注意力（Channel Attention），提出了一种新的协同注意力模块SCSA。
【RT-DETR有效改进】轻量级视觉变换器RepViT改进特征提取网络（轻量化网络）
Snu77的博客
01-17 3044
本位给大家带来的改进机制是RepViT。它是一种最新发布的网络结构，把轻量级的视觉变换器（就是ViT）的设计理念融入到了我们常用的轻量级卷积神经网络（CNN）里。我尝试把它用在RT-DETR的主干网络上，效果还不错，mAP有一定的提高。我用的是这个网络中最轻量级的版本。我将其用于在我的数据上实验（包含多个类别其中包含大中小多个目标类别），无论哪种目标，精度均有所提升。接下来，我会展示一下原始版本和我改进后版本在训练上的对比图。之后会在文章中介绍该网络结构，然后教大家如何修改该网络结构。
RT-DETR改进策略【Backbone/主干网络】| 替换骨干网络为CVPR-2024 PKINet 获取多尺度纹理特征，适应尺度变化大的目标
Limiiiing的博客
01-21 342
PKI Module是。
YOLOv8改进：利用MobileNetV4增强主干网络
走向CTO的路上...
07-14 2320
YOLOv8作为目前最先进的目标检测算法之一，在性能和精度方面都取得了显著进步。然而，其主干网络结构较为复杂，在部署于移动端或嵌入式设备时会遇到性能瓶颈。为了解决这一问题，本文提出了一种利用MobileNetV4增强YOLOv8主干网络的方法，以提升模型的轻量性和精度。利用 MobileNetV4 的 UIB 模块可以有效增强 YOLOv8 的主干网络，降低模型复杂度，提升模型精度，使其能够在移动端或嵌入式设备上部署使用，这对于推动目标检测技术在移动端和嵌入式设备上的应用具有重要意义。return x。
【轻量化】YOLOv8 更换骨干网络之 MobileNetv4 | 《号称最强轻量化网络》
YOLOv8项目贡献者
07-01 5536
号称最强轻量化网络 MobileNetv4
改进的yolov5
小嘤熊的博客
11-06 1810
为证明BottleNeckCSP 的局限性，通过修改信息路径，引入了一种新的称为 N-CSP 的功能块，减少主干中N-CSP块的数量，调整网络参数，提高计算速度。该模块结合局部和全局特征来最大化特征图的表达能力，扩展了骨干网络的感受野，并将最重要的上下文特征分离为大小目标检测。，导致特征信息丢失。因此，该模块提高了网络准确定位目标的学习能力，特别是小对象，同时以最小的计算成本增加保持快速检测速度。，一个在FPN的自顶向下路径中，另一个在PANet的自底向上路径中，用于集成不相邻和多层次特征。
yolov5改进（自用）
m0_67006148的博客
09-26 2142
1）打开models文件夹中的common.py文件2）将下面的CBAMC3代码复制粘贴到common.py文件中。
yolov5及其算法改进
m0_38113054的博客
12-27 2324
YOLOv5 是一个基于 Anchor 的单阶段目标检测，其主要分为以下 5 个阶段：1、输入端：Mosaic 数据增强、自适应Anchor计算、自适应图像缩放；2、Backbone：提取出高中低层的特征，使用了 CSP 结构、SPPF、SiLU 等操作；3、Neck：使用 FPN+PAN 结构，将各层次的特征进行融合，并提取出大中小的特征图；4、Head：进行最终检测部分，在特征图上应用 Anchor Box，并生成带有类别概率、类别得分以及目标框的最终输出向量；
yolov8改进/更换mobilenetv4
cfk12的博客
08-16 1844
我真是服了这个网页的专栏精选，啥汤姆的都要米，看一个要米，再看一个也要米。我直接自己改，改完我分享一波。
RT-DETR算法改进：超多种主干网络改进，包括CNN和Transformer多种核心网络结构
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-13 1077
RT-DETR算法改进｜超多种Backbone、CNN和Transformer核心网络结构合集
rtdetr改进
03-08
### 改进RTDETR模型性能或架构的方法 #### 优化网络结构 采用最新的GLM-4模型中的NoBias_ExceptQKV策略可以有效提升训练速度。此方法通过仅在查询、键和值层保留偏置项，而移除其他部分的偏置，从而简化计算流程并加速收敛过程[^1]。 对于规范化处理环节，引入RMSNorm配合激活函数SwiGLU能够增强整体表现力。相较于传统Batch Normalization，前者能在不同批次间保持稳定的同时降低内存消耗；后者则提供更强表达能力，在特征映射过程中展现出优越特性。 #### 提升位置编码机制 借鉴RoPE（旋转式位置嵌入），将其拓展至二维形式以匹配图像数据特点。这种做法有助于捕捉空间关系信息，使得检测器更好地理解目标物体间的相对布局情况，进而提高识别精度。 #### 调整注意力模块配置 利用GQA（Grouped Query Attention）替代原有的多头自注意机制(Multi-head Self-Attention)，不仅可缩减推理阶段所需缓存容量，而且允许前馈神经网络权重数量增长三倍左右，间接促进了复杂模式的学习效率与效果。 ```python import torch.nn as nn class ImprovedRTDETR(nn.Module): def __init__(self, ...): super().__init__() self.backbone = BackboneWithRMSNormAndSwiGLU() self.position_encoding = TwoDimensionalRotaryPositionEmbedding() self.transformer_encoder = TransformerEncoderUsingGQA() def forward(self, x): features = self.backbone(x) pos_encodings = self.position_encoding(features.shape[-2:]) out = self.transformer_encoder(features + pos_encodings) return out ``` 为了确保改进后的RTDETR更加贴合实际应用场景需求，还可以参考InstructGPT的做法，即借助人工标注样本实施针对性调整。具体而言，先基于特定领域专家给出的理想响应构建初始版本，再经由持续迭代优化直至达到预期质量标准[^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值