YOLOv11改进 | 主干/Backbone篇 | 轻量化目标检测网络MobileViTv2改进yolov11助力轻量化模型

已于 2024-10-24 23:27:35 修改
阅读量1.7k 收藏 24
点赞数 17
分类专栏： YOLOv11有效涨点专栏 文章标签： YOLO 深度学习 人工智能 计算机视觉 python YOLOv11 目标检测 1024程序员节
于 2024-10-24 23:24:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/142906618
版权

一、本文介绍

本文给大家带来的改进机制是MobileViT系列的V2版本，其作为MobileNet网络的挑战者，其效果自然不用多说，MobileViT模型是为移动设备设计的轻量级、通用目的视觉变换器。它融合了卷积神经网络（CNN）和视觉变换器（ViT）的优势，旨在在保持高效性能的同时减少模型参数和降低延迟。通过其创新的MobileViT Block和多尺度训练方法，MobileViT在多个视觉任务上取得了优异的结果，欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。

欢迎大家订阅我的专栏一起学习YOLO！

18b14562d03248b09ab6dd11af1b95bf.png

   专栏回顾：YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备

目录

   一、本文介绍

二、原理介绍

三、核心代码

四、手把手教你添加MobileViTv2

 4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四

4.5 修改五

4.6 修改六

4.7 修改七

4.8 修改八

注意！！！ 额外的修改！

打印计算量问题解决方案

注意事项！！！ 

五、MobileViTv2的yaml文件

5.1 MobileViTv2的yaml文件

5.2 训练文件的代码

了解本专栏 订阅专栏 解锁全文
YOLOv11改进 | 上采样篇 | YOLOv11引入DySample轻量级动态上采样器
tsg6698的博客
10-03 2572
虽然最近的基于内核的动态上采样器（如CARAFE、FADE和SAPA）的性能提升令人印象深刻，但它们引入了大量工作负载，主要是由于耗时的动态卷积和用于生成动态内核的额外子网。DySample模块的设计旨在解决现有动态上采样器的高计算开销和复杂性问题，同时提供更好的性能和效率。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv11模型改进-模块-引入特征细化模块FRFN 解决小目标、遮挡等问题
qq_64693987的博客
12-24 2209
FRFN 是一种专门设计的深度学习结构，旨在提高图像处理任务中的特征表示能力。它的核心设计理念是通过逐层细化和优化特征图，从而实现更高的分类和检测精度。1. 特征提取层：通过卷积层提取初始特征，并进行批量归一化以增强稳定性。2. 特征细化模块：在每个模块中，当前层特征图与前一层特征图进行融合，以强化特征表示。3. 跳跃连接：通过跳跃连接保留多尺度信息，帮助缓解深层网络中的信息丢失。4. 非线性激活：使用激活函数（如ReLU）增加模型的非线性能力。5. 输出层。
重磅解析 | YOLOv11全方位改进指南：从理论到实战的模块精解与性能飞跃
最新发布
lgf228的专栏
05-05 1879
YOLOv11通过深度创新的架构设计、高效的注意力机制、精巧的损失函数与优化策略，全面提升了目标检测的性能上限。本文详细解析了YOLOv11的核心改进点与实战应用技巧，希望能助力研究者与工程师更好地掌握和应用这一先进检测模型。自监督学习：减少标注依赖，通过大规模未标注数据预训练提升特征表达端到端检测：去除传统NMS后处理，直接输出最终检测结果多模态融合：结合视觉、语言等多种模态信息增强检测理解能力开放世界检测：提升对未知类别的检测与分类能力极致轻量化：面向边缘设备的超低功耗、高精度检测算法。
YOLOv11改进 | 独家创新- 注意力篇 | YOLOv11结合全新多尺度线性注意力机制MLAttention(全网独家创新)
tsg6698的博客
10-02 2157
(2). 多层次的特征融合：MLAttention模块中的多组卷积层会提取不同层次的特征，并通过逐步累加的方式将这些特征进行融合。这种设计不仅保留了原始特征的基本信息，还通过注意力机制对特征进行了加强，能够在保留基础信息的同时突出关键特征，进一步提升模型的特征表达能力。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv11改进 ，YOLOv11改进主干网络为MobileNetV3，助力涨点
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
10-08 1041
MobileNetV3通过结合硬件感知网络架构搜索（NAS）和NetAdapt算法，通过新颖的架构改进进一步提升了性能。本文开始探讨了自动化搜索算法与网络设计如何协同工作，以利用互补方法来提升整体技术水平。通过这一过程，创建了两个新的MobileNet模型：MobileNetV3-Large和MobileNetV3-Small，分别针对高资源和低资源使用场景。这些模型随后被适配并应用于目标检测和语义分割任务。
YOLOv11模型改进-模块-引入空间自适应特征调制模块SAFM 提升多尺度、小目标检测
qq_64693987的博客
12-24 3064
SAFM 是一种空间自适应特征调制机制，它主要应用于图像超分辨率任务中。通过对输入特征进行动态调制，SAFM 能够自适应地选择代表性的特征表示，从而更好地恢复图像的细节和清晰度。这种机制的核心在于它能够从多尺度的角度处理特征，同时考虑局部和全局的信息，使得生成的特征更加具有判别性和鲁棒性。通道分割与初步处理首先对归一化的输入特征进行通道分割操作，产生四个部分组件。其中一个部分用深度卷积进行处理。其余三个部分则被送入多尺度特征生成单元，经过下采样、卷积和上采样等操作来生成多尺度特征。多尺度特征整合。
YOLOv11模型改进-注意力机制-引入自适应稀疏自注意力ASSA
qq_64693987的博客
10-16 4021
Adaptive Sparse Self-Attention（ASSA）是自适应稀疏Transformer（AST）模型中的关键组件，主要用于提升图像恢复任务的性能。ASSA的设计旨在减少标准Transformer模型中由于无关区域引入的噪声交互，同时解决特征冗余问题。稀疏自注意力（SSA）：使用基于ReLU的稀疏注意力机制，过滤掉查询与键之间低匹配的无关交互。这可以减少无效特征的参与，帮助聚焦在最有价值的信息交互上。
YOLOv11改进 | 主干/Backbone篇 | 2024最新重写星辰StarNet助力yolov11有效涨点（yolov11全系列轻量化）
Snu77的博客
12-16 3355
本文给大家带来的最新改进机制是Rewrite the Stars，其探讨了“星操作”（即元素级的乘法）在网络设计中的潜力。文章提出，星操作能够将输入映射到高维的非线性特征空间中，而不需要增加网络的宽度。这个过程类似于机器学习中的核技巧，但通过保持网络的紧凑性和低延迟实现了高效的计算。本文将其添加到YOLOv11中并且根据yolov11的N、S、M、L、X进行缩放和扩张，yolov11全系列可实现轻量化。
YOLOv11改进 | 主干/Backbone篇 | 目标检测网络FasterNeT轻量化网络助力yolov11改进（提高FPS和检测效率）
Snu77的博客
11-01 2582
本文给大家带来的改进机制是FasterNet网络，将其用来替换我们的特征提取网络，其旨在提高计算速度而不牺牲准确性，特别是在视觉任务中。它通过一种称为部分卷积（PConv）的新技术来减少冗余计算和内存访问。这种方法使得FasterNet在多种设备上运行速度比其他网络快得多，同时在各种视觉任务中保持高准确率。经过我的实验该主干网络确实能够涨点在大中小三种物体检测上，大家可以在源代码中进行修改版本的使用。本文通过介绍其主要框架原理，然后教大家如何添加该网络结构到网络模型中。
YOLOv11改进 | 主干/Backbone篇 | 利用RT-DETR主干网络PPHGNetV2助力yolov11有效涨点（轻量化目标检测网络）
Snu77的博客
10-24 2466
本文给大家带来利用RT-DETR模型主干HGNet去替换YOLOv11的主干，RT-DETR是今年由百度推出的第一款实时的ViT模型，其在实时检测的领域上号称是打败了YOLO系列，其利用两个主干一个是HGNet一个是ResNet，其中HGNet就是我们今天来讲解的网络结构模型，这个网络结构目前还没有推出论文，所以其理论知识在网络上也是非常的少，我也是根据网络结构图进行了分析（精度mAP提高0.05）。YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备​目录一、本文介绍。
YOLOv10改进 | 主干/Backbone篇 | 轻量化网络MobileViTv2改进YOLOv10助力轻量化模型
Snu77的博客
07-14 994
本文给大家带来的改进机制是MobileViT系列的V2版本，其作为MobileNet网络的挑战者，其效果自然不用多说，MobileViT模型是为移动设备设计的轻量级、通用目的视觉变换器。它融合了卷积神经网络（CNN）和视觉变换器（ViT）的优势，旨在在保持高效性能的同时减少模型参数和降低延迟。通过其创新的MobileViT Block和多尺度训练方法，MobileViT在多个视觉任务上取得了优异的结果，欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。
YOLOv11改进-卷积-引入Upsampling by Dynamic DySample 解决传统上采样灵活性问题
qq_64693987的博客
10-17 3700
现有的上采样方法如等，依赖于动态卷积来生成上采样的内容感知核，但这些方法需要额外的子网络生成动态卷积核计算量较大。尤其是 FADE 和 SAPA 需要高分辨率的特征图作为引导，进一步增加了计算负担，并限制了应用场景。DySample的核心思想是将上采样过程重新定义为点采样（Point Sampling）。通过学习输入特征图中的采样点坐标，DySample 生成内容感知的采样点来对特征图进行重新采样，而不是使用动态卷积核。具体实现步骤如下：​​1. 输入特征图：大小为 C×H×W的输入特征图。
YOLOv11改进 | YOLOv11引入MobileNetV4
MR_Colorful的博客
04-08 1339
主要是对该文章进行复现，以及对一些问题进行解答。
YOLOv11改进，YOLOv11改进损失函数采用Powerful-IoU：自适应惩罚因子和基于锚框质量的梯度调节函数（2024年最新IOU）
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
10-09 1367
物体定位是物体检测中的一项关键任务，它严重依赖于边界框回归 (BBR) 损失函数的评估和优化。因此，边界框回归损失函数显著影响物体检测器的性能。大多数 BBR 损失可归类为 𝑙𝑛-norm 和基于 IoU 的损失。如下图所示，不同IoU 损失函数引导的锚框回归过程。彩色框为不同损失函数引导的锚框在回归过程中的分布。很明显，PIoU 损失引导的锚框回归最快，可以最快地逼近目标框。而且，除 PIoU 损失外，所有损失函数引导的锚框都存在面积扩大的问题，而 PIoU 损失引导的锚框不存在此问题。
YOLOv11改进 | Conv篇 | YOLOv11引入DSConv
tsg6698的博客
10-05 606
我们在最流行的神经网络架构ResNet，DenseNet，GoogLeNet，AlexNet和VGG-Net上测试了我们的模型作为标准卷积的即插即用替代品，并展示了最先进的结果，精度损失不到1%，无需重新训练，仅使用4位量化。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~这可以通过最小化KL散度或欧几里得距离来实现。
YOLOv11模型改进-注意力-引入单头自注意力Single-Head Self-Attention（SHSA）解决小目标、遮挡
qq_64693987的博客
10-21 4205
SHSA通过仅对部分输入通道应用单头注意力，减少了计算冗余和内存访问成本。部分通道处理：仅对部分输入通道（默认比例为1/4.67）应用注意力层，其余通道保持不变。全通道投影：最终的投影应用于所有通道，确保注意力特征有效传播到所有通道。简化操作：减少内存绑定操作，提高了计算效率。
YOLOv11改进 | 独家创新- 注意力篇 | YOLOv11结合全新多尺度动态增强注意力机制DSAttention(全网独家创新)
tsg6698的博客
10-04 689
(4). 通道注意力增强：DSAttention在进行多尺度卷积之前，利用池化操作结合1x1卷积进行通道注意力的计算，通过Adaptive Pooling层提取通道间的全局信息，并通过Sigmoid激活函数强化重要的特征通道，从而提升特征选择的精度。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv11改进 | Neck篇 | YOLOv11引入Slim-Neck（轻量）
tsg6698的博客
10-01 2265
在标准的CNN架构中，随着网络深度的增加，空间信息逐步转化为通道信息，这一转换过程在每次特征图的空间压缩和通道扩展操作中往往伴随着语义信息的部分损失。GSConv通过其独特的设计，旨在在维持较低时间复杂度的同时，最大化地保留通道之间的潜在连接，从而减少信息的丢失。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv11改进 | 卷积模块 | 分布移位卷积DSConv替换Conv
kay_545
10-05 1591
yolo11，yolo11改进，卷积，轻量化
YOLOv8改进 | 主干篇 | 利用RT-DETR特征提取网络PPHGNetV2改进YOLOv8（超级轻量化精度更高）
01-04
### 改进YOLOv8主干网络的方法 为了使YOLOv8更加轻量化并提升检测精度，可以采用来自RT-DETR的PPHGNetV2作为新的特征提取器[^1]。这种方法不仅能够增强模型的表现力，还能减少计算资源的需求。 #### 替换原有主干网络 原有的YOLOv8主干网络被PPHGNetV2所替代。PPHGNetV2是一种基于Transformer架构设计而成的新颖骨干网路，它具有更强的数据表达能力和更低的参数复杂度。通过这种替换操作，可以在不显著增加额外开销的情况下获得更好的性能表现[^2]。 #### 调整超参数设置 当引入新类型的主干之后，可能需要重新调整一些训练过程中的超参数配置，比如学习率、批量大小等。这些改变有助于让整个系统更好地适应新型号带来的变化，并最终体现在更高的mAP得分上[^3]。 #### 训练与验证流程 完成上述修改后，按照常规方式准备数据集并对改进后的YOLOv8进行充分训练。期间应密切关注损失函数的变化趋势以及各类评估指标的结果反馈。经过多轮迭代优化直至收敛稳定为止。最后，在测试集上面检验最终版模型的实际效能是否达到了预期目标——即实现了更高精度的同时也保持了良好的运行效率。 ```python import torch from yolov8 import YOLOv8 from pphgnet_v2 import PPHGNetV2 def replace_backbone(yolo_model_path, new_backbone=PPHGNetV2()): # 加载原始YOLOv8模型权重 yolo = YOLOv8() checkpoint = torch.load(yolo_model_path) yolo.load_state_dict(checkpoint['model']) # 将原主干部分替换成PPHGNetV2 yolo.backbone = new_backbone return yolo # 使用示例代码片段 if __name__ == "__main__": improved_yolov8 = replace_backbone('path_to_original_weights.pth') ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值