【RT-DETR有效改进】Conv篇 | 最新轻量化自适应提取模块LAE助力边缘设备部署计算（附代码 + 修改教程 + 运行教程）

已于 2024-09-14 23:10:38 修改
阅读量1.9k 收藏 10
点赞数 2
CC 4.0 BY-SA版权
分类专栏： RT-DETR有效改进专栏 文章标签： 深度学习 人工智能 机器学习 计算机视觉 YOLO python RT-DETR
于 2024-09-14 23:10:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/142267532

👑欢迎大家订阅本专栏，一起学习RT-DETR👑   

一、本文介绍

本文给大家带来的一个改进机制是最新由LSM-YOLO提出的轻量化自适应特征提取（Lightweight Adaptive Extraction, LAE）模块，其是LSM-YOLO模型中的关键模块，旨在进行多尺度特征提取，同时降低计算成本。LAE通过以下方式实现更有效的特征提取：多尺度特征提取、自适应特征提取。LAE模块可以在不增加额外参数的情况下提高了模型对ROI区域的检测性能。​

 专栏链接：RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR

目录

一、本文介绍

 二、LAE结构介绍

三、核心代码

四、手把手教你添加本文机制

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

五、正式训练

5.1 RT-DETR-l的yaml文件

5.2 RT-DETR-ResNet18的yaml文件

5.3 训练代码 

5.4 训练过程截图 

五、本文总结

 二、LAE结构介绍

官方论文地址： 官方论文地址点击此处即可跳转

官方代码地址： 官方代码地址点击此处即可跳转

了解本专栏 订阅专栏 解锁全文
一篇文章快速认识YOLO11 | 关键改进点 | 安装使用 | 模型训练和推理
黎国溥
10-08 3万+
本文分享YOLO11的关键改进点、性能对比、安装使用、模型训练和推理等内容。YOLO11 是 Ultralytics 最新的实时目标检测器，凭借更高的精度、速度和效率重新定义了可能性。除了传统的目标检测外，YOLO11 还支持目标跟踪、实例分割、关键点姿态估计、OBB定向物体检测（旋转目标检测）等视觉任务。1. YOLOv3：核心改进：YOLOv3 是 YOLO 系列的第三代，由 Joseph Redmon 于 2018 年发布，标志着 YOLO 从原始的单尺度检测进化到多尺度检测。
YOLOv11改进有效系列目录 - 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制 - 针对多尺度、小目标、遮挡、恶劣天气等问题
qq_64693987的博客
10-16 3万+
在一些特定情况下，目标检测任务由于多种因素的影响，变得更加复杂和困难。以下是几类常见的困难目标检测场景：1. 小目标检测定义：小目标检测是指当目标在图像中的占比非常小时，模型需要准确识别和定位这些目标。典型场景包括远程监控、卫星图像分析等。挑战1. 低分辨率：由于目标在图像中占据像素较少，细节缺失，特征提取难度增加。2. 特征不足：小目标缺乏明显的形状和纹理特征，容易被复杂背景淹没。3. 检测难度大：由于小目标与背景之间的对比度较低，误检的几率上升。4. 数据不平衡。
YOLOv11改进 | SPPF篇 | 2024最新AIFI模块改进特征金字塔网络（Transformer和YOLO的结合）
Snu77的博客
11-06 1万+
本文给大家带来是用最新的改进是RT-DETR模型中的AIFI模块间去替换YOLOv11中的SPPF。RT-DETR号称是打败YOLO的检测模型，其作为一种基于Transformer的检测方法，相较于传统的基于卷积的检测方法，提供了更为全面和深入的特征理解，将RT-DETR中的一些先进模块融入到YOLOv11往往能够达到一些特殊的效果，因为发论文并不一定要提高精度轻量化模型也是一个方向本文含yolov11和RT-DETR的结合文件，配合RT-DETR检测头）。
YOLOv8改进 | Conv篇 | 最新轻量化自适应提取模块LAE助力边缘设备部署计算（附代码 + 修改教程 + 运行教程）
Snu77的博客
09-14 3473
本文给大家带来的一个改进机制是最新由LSM-YOLO提出的轻量化自适应特征提取（Lightweight Adaptive Extraction, LAE）模块，其是LSM-YOLO模型中的关键模块，旨在进行多尺度特征提取，同时降低计算成本。LAE通过以下方式实现更有效的特征提取：多尺度特征提取、自适应特征提取。LAE模块可以在不增加额外参数的情况下提高了模型对ROI区域的检测性能。​
YOLOv8改进（一）-- 轻量化模型ShuffleNetV2
qq_44231797的博客
06-02 5464
YOLOv8；ShuffleNetV2
RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制
Snu77的博客
01-29 2万+
Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。
RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-03 1万+
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-4。项目介绍在大家购买专栏后，加入学习
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 17万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
Snu77的博客
11-05 7万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
YOLOv11改进：轻量化模型MobileNetv4
最新发布
qq_44231797的博客
04-24 3965
它通过整合多种先进技术，如通用反转瓶颈（UIB）、针对移动设备优化的注意力机制（Mobile MQA），以及先进的架构搜索方法（NAS），实现了在不同硬件上的高效运行，成功打造出一系列在移动设备上表现最优的模型，兼顾计算效率和精度，实现了在多种硬件平台上的帕累托最优性能。**MobileNetV4（MNv4）**是最新一代的MobileNet，其核心原理在于实现了跨各种移动设备的高效性能,**预处理（pre-process）：**0.6毫秒（ms）**推理（inference）：**6.6毫秒（ms）
YOLOv11改进 | 上采样篇 | YOLOv11引入DySample轻量级动态上采样器
tsg6698的博客
10-03 2871
虽然最近的基于内核的动态上采样器（如CARAFE、FADE和SAPA）的性能提升令人印象深刻，但它们引入了大量工作负载，主要是由于耗时的动态卷积和用于生成动态内核的额外子网。DySample模块的设计旨在解决现有动态上采样器的高计算开销和复杂性问题，同时提供更好的性能和效率。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
【每天一篇深度学习论文】轻量化自适应提取模块LAE
Magnolia_He的博客
12-05 2774
LSM-YOLO: A Compact and Effective ROI Detector for Medical Detection链接: https://arxiv.org/pdf/2408.14087轻量级模型设计：提出了一种新型的模型，名为 Lightweight Shunt Matching-YOLO (LSM-YOLO)，它结合了 Lightweight Adaptive Extraction (LAE) 和 Multipath Shunt Feature Matching (MSFM)，旨在
YOLOv5改进（一）--轻量化YOLOv5s模型
qq_44231797的博客
04-07 1万+
轻量化YOLOv5s模型
YOLOv11改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 RepViT 轻量级的Vision Transformers架构
Limiiiing的博客
10-20 2312
本文记录的是基于RepVit的YOLOv11轻量化改进方法研究。RepVit的网络结构借鉴ViT的设计理念，通过分离的token mixe和减少推理时的计算和内存成本，同时减少扩展比率并增加宽度，降低延迟，并通过来弥补参数大幅减少的问题，提高了准确性。本文在替换骨干网络中配置了原论文中的和五种模型，以满足不同的需求。
yolov11轻量化改进骨干网络为Efficientv2
weixin_71460900的博客
11-18 1083
（1）nn.module文件添加 efficientv2.py文件。（3） __init__.py文件引入。（2）block.py文件引入。（4）task.py文件引入。（5）改写yaml文件。
RTDETR改进专栏(包含RTDETR、YOLOV5-DETR、YOLOV8-DETR)
qq_37706472的博客
01-28 5万+
RTDETR改进专栏(性价比高，创新度高)，目前RTDETR改进已经有300+个改进点！
YOLO11改进-模块-引入混合结构模块Mix Structure Block 提高多尺度、小目标
qq_64693987的博客
02-24 3162
多尺度并行大卷积核模块（MSPLCK）：大卷积核具有更大的有效感受野和更高的形状偏差，能通过扩大感受野在学习的潜在域空间中捕获更多结构化信息，帮助单个像素基于大范围周围像素恢复图像并还原物体形状；小卷积核则专注于细节特征，恢复纹理细节。不同大小的卷积核并行工作，可从不同尺度关注图像区域，提取多尺度特征，这些特征在通道维度上连接，再经多层感知器处理，既能融合不同类型特征，又能拟合去雾特征。增强并行注意力模块（EPA）
YOLOv11模型改进-模块-引入空间自适应特征调制模块SAFM 提升多尺度、小目标检测
qq_64693987的博客
12-24 4167
SAFM 是一种空间自适应特征调制机制，它主要应用于图像超分辨率任务中。通过对输入特征进行动态调制，SAFM 能够自适应地选择代表性的特征表示，从而更好地恢复图像的细节和清晰度。这种机制的核心在于它能够从多尺度的角度处理特征，同时考虑局部和全局的信息，使得生成的特征更加具有判别性和鲁棒性。通道分割与初步处理首先对归一化的输入特征进行通道分割操作，产生四个部分组件。其中一个部分用深度卷积进行处理。其余三个部分则被送入多尺度特征生成单元，经过下采样、卷积和上采样等操作来生成多尺度特征。多尺度特征整合。
YOLOv11模型改进-注意力机制-引入自适应稀疏自注意力ASSA
qq_64693987的博客
10-16 4518
Adaptive Sparse Self-Attention（ASSA）是自适应稀疏Transformer（AST）模型中的关键组件，主要用于提升图像恢复任务的性能。ASSA的设计旨在减少标准Transformer模型中由于无关区域引入的噪声交互，同时解决特征冗余问题。稀疏自注意力（SSA）：使用基于ReLU的稀疏注意力机制，过滤掉查询与键之间低匹配的无关交互。这可以减少无效特征的参与，帮助聚焦在最有价值的信息交互上。
YOLOv8改进 | 主干篇 | 利用RT-DETR特征提取网络PPHGNetV2改进YOLOv8（超级轻量化精度更高）
01-04
### 改进YOLOv8主干网络的方法 为了使YOLOv8更加轻量化并提升检测精度，可以采用来自RT-DETR的PPHGNetV2作为新的特征提取器[^1]。这种方法不仅能够增强模型的表现力，还能减少计算资源的需求。 #### 替换原有主干网络 原有的YOLOv8主干网络被PPHGNetV2所替代。PPHGNetV2是一种基于Transformer架构设计而成的新颖骨干网路，它具有更强的数据表达能力和更低的参数复杂度。通过这种替换操作，可以在不显著增加额外开销的情况下获得更好的性能表现[^2]。 #### 调整超参数设置 当引入新类型的主干之后，可能需要重新调整一些训练过程中的超参数配置，比如学习率、批量大小等。这些改变有助于让整个系统更好地适应新型号带来的变化，并最终体现在更高的mAP得分上[^3]。 #### 训练与验证流程 完成上述修改后，按照常规方式准备数据集并对改进后的YOLOv8进行充分训练。期间应密切关注损失函数的变化趋势以及各类评估指标的结果反馈。经过多轮迭代优化直至收敛稳定为止。最后，在测试集上面检验最终版模型的实际效能是否达到了预期目标——即实现了更高精度的同时也保持了良好的运行效率。 ```python import torch from yolov8 import YOLOv8 from pphgnet_v2 import PPHGNetV2 def replace_backbone(yolo_model_path, new_backbone=PPHGNetV2()): # 加载原始YOLOv8模型权重 yolo = YOLOv8() checkpoint = torch.load(yolo_model_path) yolo.load_state_dict(checkpoint['model']) # 将原主干部分替换成PPHGNetV2 yolo.backbone = new_backbone return yolo # 使用示例代码片段 if __name__ == "__main__": improved_yolov8 = replace_backbone('path_to_original_weights.pth') ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值