YOLOv11改进 | Conv/卷积篇 | 利用MobileNetV4的UIB模块二次创新C3k2适配yolov11扩展率（全网独家首发，轻量化）

已于 2024-11-15 05:29:36 修改
阅读量2.5k 收藏 14
点赞数 9
CC 4.0 BY-SA版权
分类专栏： YOLOv11有效涨点专栏 文章标签： YOLO 人工智能 计算机视觉 深度学习 目标检测 python YOLOv11
于 2024-11-15 01:44:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/143784238

一、本文介绍

本文给大家带来的最新改进机制是利用MobileNetV4的UIB模块二次创新C3k2，其中UIB模块来自2024.5月发布的MobileNetV4网络，其是一种高度优化的神经网络架构，专为移动设备设计。它最新的改动总结主要有两点，采用了通用反向瓶颈（UIB，也就是本文利用的结构）和针对移动加速器优化的Mobile MQA注意力模块（一种全新的注意力机制）。我将其用于C3k2的二次创新在V11n上参数量为250W），计算量为6.0GFLOPs，非常适用于想要轻量化网络模型的读者来使用，同时本文结构为本专栏独家创新。

欢迎大家订阅我的专栏一起学习YOLO！ 

 专栏回顾：YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备

目录

一、本文介绍

二、原理介绍

三、核心代码

四、添加教程

4.1 修改一

4.2 修改二 

了解本专栏 订阅专栏 解锁全文
YOLOv11改进 | 独家创新- 注意力篇 | YOLOv11结合全新多尺度线性注意力机制MLAttention(全网独家创新)
tsg6698的博客
10-02 2207
(2). 多层次的特征融合：MLAttention模块中的多组卷积层会提取不同层次的特征，并通过逐步累加的方式将这些特征进行融合。这种设计不仅保留了原始特征的基本信息，还通过注意力机制对特征进行了加强，能够在保留基础信息的同时突出关键特征，进一步提升模型的特征表达能力。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv11模型改进-模块-引入空间自适应特征调制模块SAFM 提升多尺度、小目标检测
qq_64693987的博客
12-24 3312
SAFM 是一种空间自适应特征调制机制，它主要应用于图像超分辨率任务中。通过对输入特征进行动态调制，SAFM 能够自适应地选择代表性的特征表示，从而更好地恢复图像的细节和清晰度。这种机制的核心在于它能够从多尺度的角度处理特征，同时考虑局部和全局的信息，使得生成的特征更加具有判别性和鲁棒性。通道分割与初步处理首先对归一化的输入特征进行通道分割操作，产生四个部分组件。其中一个部分用深度卷积进行处理。其余三个部分则被送入多尺度特征生成单元，经过下采样、卷积和上采样等操作来生成多尺度特征。多尺度特征整合。
YOLO11中的C3K2模块
qq_43980144的博客
06-14 597
C3k2 是 YOLO11 对传统特征提取模块的优化，核心就是更快、更准地抓图像里的关键特征（比如检测目标的轮廓、细节 ），而且得适配“实时检测需求（不能让模型算太久 ）用“分支并行 + 灵活卷积核”，解决了这些痛点：分支并行：减少冗余计算，速度更快（适合实时检测，比如视频里的连续帧检测 ）。灵活卷积核：不管目标大小、场景复杂与否，都能精准抓特征（小目标细节、大目标轮廓都不丢 ）。
YOLOv11模型改进-注意力机制-引入自适应稀疏自注意力ASSA
qq_64693987的博客
10-16 4141
Adaptive Sparse Self-Attention（ASSA）是自适应稀疏Transformer（AST）模型中的关键组件，主要用于提升图像恢复任务的性能。ASSA的设计旨在减少标准Transformer模型中由于无关区域引入的噪声交互，同时解决特征冗余问题。稀疏自注意力（SSA）：使用基于ReLU的稀疏注意力机制，过滤掉查询与键之间低匹配的无关交互。这可以减少无效特征的参与，帮助聚焦在最有价值的信息交互上。
YOLOv11改进-卷积-引入Upsampling by Dynamic DySample 解决传统上采样灵活性问题
qq_64693987的博客
10-17 3821
现有的上采样方法如等，依赖于动态卷积来生成上采样的内容感知核，但这些方法需要额外的子网络生成动态卷积核计算量较大。尤其是 FADE 和 SAPA 需要高分辨率的特征图作为引导，进一步增加了计算负担，并限制了应用场景。DySample的核心思想是将上采样过程重新定义为点采样（Point Sampling）。通过学习输入特征图中的采样点坐标，DySample 生成内容感知的采样点来对特征图进行重新采样，而不是使用动态卷积核。具体实现步骤如下：​​1. 输入特征图：大小为 C×H×W的输入特征图。
YOLOv11改进 | YOLOv11引入MobileNetV4
MR_Colorful的博客
04-08 1512
主要是对该文章进行复现，以及对一些问题进行解答。
YOLOv11改进策略【卷积层】| 利用MobileNetv4中的UIB、ExtraDW优化C3k2
Limiiiing的博客
10-12 878
通用反向瓶颈结构。
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
热门推荐
Snu77的博客
11-05 5万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
YOLOv11改进策略【独家融合改进】| MobileNetV4+BiFPN，轻松实现降参涨点，适用专栏内所有的骨干替换
Limiiiing的博客
01-09 1285
可扩展的高效物体检测BiFPN（加权双向特征金字塔网络）
YOLOv11改进缝合Conv | 融合MobileNetV4-UIB结构的YOLOv11卷积模块
最新发布
一键难忘的博客
07-18 437
YOLO 系列一直是目标检测领域的佼佼者，而如何进一步提升其在移动设备上的轻量化能力，是近几年研究的重点。本文带来一种全新架构改进方式——将 MobileNetV4 中的 UIB 模块用于 YOLOv11 的 C3k2 结构二次创新重构，实现了在轻量化与准确率之间的最优权衡，V11n下模型参数仅为250W，计算量6.0GFLOPs，具备极强的移动端部署潜力。
YOLOv11改进，YOLOv11改进损失函数采用Powerful-IoU：自适应惩罚因子和基于锚框质量的梯度调节函数（2024年最新IOU）
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
10-09 1552
物体定位是物体检测中的一项关键任务，它严重依赖于边界框回归 (BBR) 损失函数的评估和优化。因此，边界框回归损失函数显著影响物体检测器的性能。大多数 BBR 损失可归类为 𝑙𝑛-norm 和基于 IoU 的损失。如下图所示，不同IoU 损失函数引导的锚框回归过程。彩色框为不同损失函数引导的锚框在回归过程中的分布。很明显，PIoU 损失引导的锚框回归最快，可以最快地逼近目标框。而且，除 PIoU 损失外，所有损失函数引导的锚框都存在面积扩大的问题，而 PIoU 损失引导的锚框不存在此问题。
YOLOv11模型改进-注意力-引入单头自注意力Single-Head Self-Attention（SHSA）解决小目标、遮挡
qq_64693987的博客
10-21 4291
SHSA通过仅对部分输入通道应用单头注意力，减少了计算冗余和内存访问成本。部分通道处理：仅对部分输入通道（默认比例为1/4.67）应用注意力层，其余通道保持不变。全通道投影：最终的投影应用于所有通道，确保注意力特征有效传播到所有通道。简化操作：减少内存绑定操作，提高了计算效率。
YOLOv11模型改进-模块-引入特征细化模块FRFN 解决小目标、遮挡等问题
qq_64693987的博客
12-24 2416
FRFN 是一种专门设计的深度学习结构，旨在提高图像处理任务中的特征表示能力。它的核心设计理念是通过逐层细化和优化特征图，从而实现更高的分类和检测精度。1. 特征提取层：通过卷积层提取初始特征，并进行批量归一化以增强稳定性。2. 特征细化模块：在每个模块中，当前层特征图与前一层特征图进行融合，以强化特征表示。3. 跳跃连接：通过跳跃连接保留多尺度信息，帮助缓解深层网络中的信息丢失。4. 非线性激活：使用激活函数（如ReLU）增加模型的非线性能力。5. 输出层。
YOLOv11改进 | Neck篇 | YOLOv11引入Slim-Neck（轻量）
tsg6698的博客
10-01 2327
在标准的CNN架构中，随着网络深度的增加，空间信息逐步转化为通道信息，这一转换过程在每次特征图的空间压缩和通道扩展操作中往往伴随着语义信息的部分损失。GSConv通过其独特的设计，旨在在维持较低时间复杂度的同时，最大化地保留通道之间的潜在连接，从而减少信息的丢失。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv11改进 | 卷积模块 | 分布移位卷积DSConv替换Conv
kay_545
10-05 1654
yolo11，yolo11改进，卷积，轻量化
YOLOv11改进 | 主干部分 | 引入MobileNetV4结构
m0_64858060的博客
02-28 4470
YOLOv11改进 | 主干部分 | 引入MobileNetV4结构
YOLOv11改进 | 融合篇，YOLOv11改进主干网络为MobileNetV3+CA注意机制
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
10-11 1723
MobileNetV3通过结合硬件感知网络架构搜索（NAS）和NetAdapt算法，通过新颖的架构改进进一步提升了性能。本文开始探讨了自动化搜索算法与网络设计如何协同工作，以利用互补方法来提升整体技术水平。通过这一过程，创建了两个新的MobileNet模型：MobileNetV3-Large和MobileNetV3-Small，分别针对高资源和低资源使用场景。这些模型随后被适配并应用于目标检测和语义分割任务。
YOLOv11改进 | 独家创新- 注意力篇 | YOLOv11结合全新多尺度动态增强注意力机制DSAttention(全网独家创新)
tsg6698的博客
10-04 706
(4). 通道注意力增强：DSAttention在进行多尺度卷积之前，利用池化操作结合1x1卷积进行通道注意力的计算，通过Adaptive Pooling层提取通道间的全局信息，并通过Sigmoid激活函数强化重要的特征通道，从而提升特征选择的精度。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv11改进 | head改进篇 | YOLOv11引入SAD尺寸感知解码器模块，适用于目标检查，图像分割，图像增强（全网独家创新）来自AAAI2025顶会
qq_45972324的博客
12-27 592
官方论文地址：论文地址点击即可跳转官方代码地址：代码地址点击即可跳转到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8v10v11改进有效涨点专栏，本专栏后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，本专栏会持续更新500+创新改进点，大家尽早关注有效涨点专栏，带着大家快速高效发论文！如果大家觉得本文能帮助到你了，订阅本专栏，关注后续更多的更新~
mobilenetv3与yolov11结合
03-28
### MobileNetV3 与 YOLOv11 的结合实现 #### 背景介绍 YOLOv11 是一种假设存在的目标检测模型，目前尚未有官方发布版本。然而，基于已有的 YOLO 系列架构设计原则[^2]，可以推测其可能延续了高效的目标检测框架特性。而 MobileNetV3 提供了一种高效的卷积神经网络结构，特别适合资源受限环境下的部署。 通过将 MobileNetV3 替换 YOLOv11 中的 Backbone 部分，能够显著降低计算复杂度并提升推理速度，同时保持较高的精度水平。以下是具体的实现方法： --- #### 1. **MobileNetV3 特性概述** MobileNetV3 引入了一系列优化技术来提高效率和性能，其中包括但不限于： - 使用深度可分离卷积减少参数数量。 - 应用 Squeeze-and-Excitation (SE) 模块增强特征表达能力[^1]。 - 动态调整激活函数（ReLU 和 h-swish），以适应不同的硬件平台需求。 这些特点使得 MobileNetV3 成为适配轻量级目标检测任务的理想选择。 --- #### 2. **YOLOv11 架构分析** 尽管 YOLOv11 尚未公开具体细节，但从以往版本的发展趋势来看，它可能会继承以下几个核心组件： - **Backbone**: 提取图像中的低层次到高层次特征。 - **Neck**: 进一步融合多尺度特征图，例如 PANet 或 FPN 结构。 - **Head**: 完成最终边界框预测及类别分类的任务。 因此，在此假设基础上讨论如何集成 MobileNetV3 至 YOLOv11。 --- #### 3. **结合方案** ##### （1）替换 Backbone 直接采用预训练好的 MobileNetV3 Large/Small 模型作为新的骨干网部分替代原有的 Darknet 或其他基础网络。由于两者输入尺寸一致通常设为固定大小如 \(416 \times 416\) 像素，故无需额外修改数据管道逻辑。 ```python import torch.nn as nn from torchvision.models import mobilenet_v3_large class CustomYOLO(nn.Module): def __init__(self, num_classes=80): super(CustomYOLO, self).__init__() # Load pre-trained MobileNetV3-Large model and remove classifier layers. backbone = mobilenet_v3_large(pretrained=True).features self.backbone = backbone ... ``` 上述代码片段展示了加载 `mobilenet_v3_large` 并移除最后全连接层的过程[^3]。 ##### （2）引入 SE 模块至 Residual Blocks 为了进一步加强特征学习效果，可以在每个残差单元内部加入 SE 注意力机制。这有助于突出重要通道信息从而改善整体表现。 ```python def se_block(input_channels): reduction_ratio = 4 squeezed_channels = input_channels // reduction_ratio return nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(input_channels, squeezed_channels, kernel_size=1), nn.ReLU(), nn.Conv2d(squeezed_channels, input_channels, kernel_size=1), nn.Sigmoid() ) for layer in list(self.backbone.children()): if isinstance(layer, InvertedResidual): # Assuming PyTorch implementation details here. setattr(layer, 'se', se_block(layer.out_channels)) ``` 此处定义了一个简单的 SE-block 函数用于动态调节各 channel 权重分布情况。 ##### （3）微调超参配置 考虑到新组合后的体系可能存在不平衡现象，则需重新评估锚点设置、损失权重分配等问题，并依据验证集反馈不断迭代直至收敛稳定为止。 --- #### 总结 综上所述，借助 MobileNetV3 的紧凑性和灵活性优势，配合适当改造措施后完全可以无缝嵌入至假想版 YOLOv11 当中形成一套兼具效能与精确性的解决方案。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值