YOLOv8改进 | Conv篇 | 2024最新ECCV最新大感受野的小波卷积WTConv创新C2f（附代码 + 修改教程）

最新推荐文章于 2024-11-05 23:09:22 发布
最新推荐文章于 2024-11-05 23:09:22 发布
阅读量5k 收藏 27
点赞数 17
CC 4.0 BY-SA版权
分类专栏： YOLOv8有效涨点专栏 文章标签： YOLO 深度学习 人工智能 计算机视觉 python YOLOv8 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/142866280

一、本文介绍

本文给大家带来的改进机制是一种新的卷积层，称为WTConv（小波卷积层），它利用小波变换（WT）来解决卷积神经网络（CNN）在实现大感受野时遇到的过度参数化问题。WTConv的主要目的是通过对输入数据的不同频率带进行处理，使CNN能够更有效地捕捉局部和全局特征，WTConv成功解决了CNN在感受野扩展中的参数膨胀问题，提供了一种更为高效、鲁棒且易于集成的卷积层解决方案，我将其用于二次创新YOLOv8中的C2f机制可以减少百分之二十的参数量和计算量，达到一个可观的轻量化作用（这种小波Conv对于目前的创新角度来说是非常流行的）。

专栏目录：YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制 

目录

一、本文介绍

二、原理介绍 

三、核心代码 

四、手把手教你添加C2fWTConv

 4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

五、正式训练

5.1 yaml文件

 5.2 训练代码 

5.3 训练过程截图 

五、本文总结

二、原理介绍 

官方论文地址：官方论文地址点击此处即可跳转

官方代码地址：官方代码地址点击此处即可跳转

这篇名为《用于大感受野的小波卷积》的文章提出了一种新的卷积层，称为WTConv（小波卷积层），它利用小波变换（

了解本专栏 订阅专栏 解锁全文
即插即用篇 | YOLOv8 引入大感受野的小波卷积 | ECCV2024
YOLOv8项目贡献者
07-15 5776
即插即用篇 | YOLOv8 引入大感受野的小波卷积 | ECCV2024
YOLOv8改进，YOLOv8采用WTConv卷积（感受野的小波卷积），二次创新C2f结构，ECCV 2024
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
10-22 1153
WTConv 的核心思想是通过结合卷积神经网络（CNN）的强大特征提取能力与小波变换的多尺度特性，来实现大感受野的卷积操作，同时避免传统大卷积核带来的参数爆炸问题。传统的卷积操作通过滑动小窗口在图像上逐步执行局部特征提取，感受野的大小直接取决于卷积核的尺寸。随着卷积核的增大，参数量呈指数增长，导致网络训练效率降低、计算资源消耗增加。为解决这些问题，WTConv 提出了在小波域中执行卷积操作的策略。小波变换是一种常用于信号处理的技术，能够将信号分解为不同频率成分。
YOLO即插即用---小波卷积
llz19670的博客
10-31 2593
论文地址：2407.05848。
ECCV 2024 | CNN涨点神器！WTConv：大感受野的小波卷积
阿木寺的博客
09-29 7467
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！来源：晓飞的算法工程笔记近年来，人们尝试增加卷积神经网络（CNN）的卷积核大小，以模拟视...
YOLOv10改进 | Conv篇 | CVPR2024最新DynamicConv替换下采样（解决低FLOPs陷阱）
Snu77的博客
07-11 1238
本文给大家带来的改进机制是CVPR2024的最新改进机制DynamicConv其是CVPR2024的最新改进机制，这个论文中介绍了一个名为ParameterNet的新型设计原则，它旨在在大规模视觉预训练模型中增加参数数量，同时尽量不增加浮点运算（FLOPs），所以本文的DynamicConv被提出来了，使得网络在保持低FLOPs的同时增加参数量，从而允许这些网络从大规模视觉预训练中获益，下面的图片为V8n和利用了DynamicConv的训练精度对比图，本文内容包含详细教程 + 代码 + 原理介绍。
YoloV10改进：Block改进|使用ContextAggregation模块改善C2f模块|即插即用
m0_47867638的博客
10-17 952
给定一张图像。
YOLOv11改进 | Conv/卷积篇 | 2024最新ECCV最新大感受野的小波卷积WTConv助力YOLOv11有效涨点（二次创新C3k2）
Snu77的博客
11-05 2660
本文给大家带来的改进机制是一种新的卷积层，称为WTConv（小波卷积层），它利用小波变换（WT）来解决卷积神经网络（CNN）在实现大感受野时遇到的过度参数化问题。WTConv的主要目的是通过对输入数据的不同频率带进行处理，使CNN能够更有效地捕捉局部和全局特征，WTConv成功解决了CNN在感受野扩展中的参数膨胀问题，提供了一种更为高效、鲁棒且易于集成的卷积层解决方案，我将其用于二次创新YOLOv11中的C3k2机制可以减少百分之十的参数量和计算量，达到一个可观的轻量化作用。
YOLOv5改进 | Conv篇 | 2024最新ECCV最新大感受野的小波卷积WTConv助力YOLOv5有效涨点
Snu77的博客
10-12 1457
​官方论文地址点击此处即可跳转官方代码地址点击此处即可跳转​这篇名为《用于大感受野的小波卷积》的文章提出了一种新的卷积层，称为WTConv（小波卷积层），它利用小波变换（WT）来解决卷积神经网络（CNN）在实现大感受野时遇到的过度参数化问题。WTConv的主要目的是通过对输入数据的不同频率带进行处理，使CNN能够更有效地捕捉局部和全局特征，而传统的CNN主要只能处理局部特征。以下是文章的主要内容总结：1. 问题背景：传统的CNN受限于卷积核的大小，难以有效捕捉全局上下文信息。
YOLOv11改进 | Conv/卷积篇 | 2024最新ECCV最新大感受野的小波卷积WTConv助力YOLOv11有效涨点
Snu77的博客
10-13 5397
本文给大家带来的改进机制是一种新的卷积层，称为WTConv（小波卷积层），它利用小波变换（WT）来解决卷积神经网络（CNN）在实现大感受野时遇到的过度参数化问题。WTConv的主要目的是通过对输入数据的不同频率带进行处理，使CNN能够更有效地捕捉局部和全局特征，WTConv成功解决了CNN在感受野扩展中的参数膨胀问题，提供了一种更为高效、鲁棒且易于集成的卷积层解决方案，我将其用于二次创新YOLOv11中的C3k2机制可以减少一定参数量和计算量，达到一个可观的轻量化作用。
YOLOv10改进 | Conv篇 | 2024最新ECCV最新大感受野的小波卷积WTConv助力YOLOv10有效涨点
Snu77的博客
10-12 1084
本文给大家带来的改进机制是一种新的卷积层，称为WTConv（小波卷积层），它利用小波变换（WT）来解决卷积神经网络（CNN）在实现大感受野时遇到的过度参数化问题。WTConv的主要目的是通过对输入数据的不同频率带进行处理，使CNN能够更有效地捕捉局部和全局特征，WTConv成功解决了CNN在感受野扩展中的参数膨胀问题，提供了一种更为高效、鲁棒且易于集成的卷积层解决方案，我将其用于二次创新YOLOv10中的C2f机制可以减少百分之二十的参数量和计算量，达到一个可观的轻量化作用。
YoloV8改进策略：卷积篇|ACConv2d模块在YoloV8中的创新应用与显著性能提升|简单易用|即插即用
m0_47867638的博客
08-24 1024
这一创新不仅增强了模型的特征提取能力，还通过引入分组卷积的策略进一步降低了运算量，从而在保证模型精度的同时，提升了运行效率。综上所述，ACConv2d模块在YoloV8中的创新应用不仅显著提升了模型的检测精度和计算效率，还增强了模型的鲁棒性，为目标检测领域的研究和应用提供了新的思路和方法。：我们直接替换YoloV8中的所有标准Conv卷积层为ACConv2d模块。：通过引入分组卷积策略，我们在提升模型精度的同时，有效降低了运算量，使得模型在保持高性能的同时，能够更快地进行推理，适应于实时检测等应用场景。
YOLOv10改进 | 注意力篇 | YOLOv10改进CBAM注意力机制
tsg6698的博客
06-11 9351
模块首先应用通道注意力，关注"重要的"特征，然后应用空间注意力，关注这些特征的"重要位置"。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~新建一个yolov10nCBAM.yaml文件后，在Backbone部分添加了CBAM注意力机制，大家可以在其他地方多尝试。在CBAM.py文件里添加给出的CBAM代码。模型结构打印，成功运行。
YOLOv8改进 | 融合篇，YOLOv8添加CA注意力机制+新增小目标检测头，助力涨点
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
07-02 4761
小目标检测难点众多，导致很多算法对小目标的检测效果远不如大中型目标。影响算法性能的主要原因如下:第一，小目标分辨率低、信息量不足，导致神经网络提取到的有效特征较少。第二，小目标在图像中所占的区域较小，易受背景干扰，这对算法的定位性能要求较高。第三，小物体标注困难，训练数据有限，导致模型泛化能力差。例如多尺度学习、无锚机制和生成对抗学习等方法，都能提高小目标检测的准确性和鲁棒性。为了改善小目标漏检现象严重的问题，我在 YOLOv8 中增加了 P2 检测头，相当于有四个检测头，使网络能检测到更小的目标。
YoloV8改进策略：卷积篇|基于PConv的二次创新|附结构图|性能和精度得到大幅度提高（独家原创）
m0_47867638的博客
05-28 1351
【代码】YoloV8改进策略：卷积篇|基于PConv的二次创新|附结构图|性能和精度得到大幅度提高（独家原创）
YOLOv10全网最新创新点改进系列：YOLOv10融合SwinTransformer模块，分辨率每层变成一半，而通道数变成两倍,有效提升小目标检测效果！
B站 Ai学术叫叫兽的文案地
07-22 4806
YOLOv10全网最新创新点改进系列：YOLOv10融合SwinTransformer模块，分辨率每层变成一半，而通道数变成两倍,有效提升小目标检测效果！
不同小波基的小波变换（卷积）
songhhll的专栏
10-31 7296
#include #include #include #include #include #define WIN_WIDTH  1//1~10,选择小波基 double *Ld = new double[2*WIN_WIDTH];  //分解尺度函数 double *Hd = new double[2*WIN_WIDTH];  //分解母函数 double *Lr =
YOLOv10改进 | Conv篇 | YOLOv10引入AKConv（轻量）
tsg6698的博客
06-11 6874
很明显，不同数据集和不同位置的目标的形状和大小是不同的。针对上述问题，本工作探索了可改变核卷积（AKConv），它赋予卷积核任意数量的参数和任意采样形状，为网络开销和性能之间的权衡提供更丰富的选择。简单介绍:本文给大家带来的改进内容是AKConv是一种创新的变核卷积，它旨在解决标准卷积操作么中的固有缺陷(采样形状是固定的)，AKConv的核心思想在于它为卷积核提供了任意数量的参数和任意采样形状，能够使用任意数量的参数(如1,2,3,4,5,6,7等)来提取特征，这在标准卷积和可变形卷积中并未实现。
YOLOv10改进，YOLOv10二次创新C2f结构采用WTConv卷积（感受野的小波卷积），ECCV 2024
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
10-20 793
WTConv 的核心思想是通过结合卷积神经网络（CNN）的强大特征提取能力与小波变换的多尺度特性，来实现大感受野的卷积操作，同时避免传统大卷积核带来的参数爆炸问题。传统的卷积操作通过滑动小窗口在图像上逐步执行局部特征提取，感受野的大小直接取决于卷积核的尺寸。随着卷积核的增大，参数量呈指数增长，导致网络训练效率降低、计算资源消耗增加。为解决这些问题，WTConv 提出了在小波域中执行卷积操作的策略。小波变换是一种常用于信号处理的技术，能够将信号分解为不同频率成分。
YOLOv9最新改进系列：Involution新卷积网络算子融合于YOLOv9网络，更大的空间范围中总结上下文信息，助力YOLOv9检测性能再上新台阶！
B站 Ai学术叫叫兽的文案地
04-15 1320
YOLOv9最新改进系列：Involution新卷积网络算子融合于YOLOv9网络，更大的空间范围中总结上下文信息，助力YOLOv9检测性能再上新台阶！
yolov8改进c2f-ELA
最新发布
02-02
### YOLOv8 中改进 C2F-ELA 算法的方法和实现 #### 1. 使用 PyTorch Conv-KAN 卷积算子优化网络结构 为了提升YOLOv8中C2F-ELA算法的效果，可以引入PyTorch-Conv-KAN的多种卷积层变体。这些变体包括`FastKANConv2DLayer`, `KANConv2DLayer`, `KALNConv2DLayer`, `KACNConv2DLayer`, 和 `KAGNConv2DLayer`[^1]。通过替换原有的标准卷积层，可以在保持计算效率的同时提高模型性能。 ```python from torch.nn import Module, Sequential import pytorch_conv_kan as kan class ImprovedC2FELA(Module): def __init__(self): super(ImprovedC2FELA, self).__init__() self.conv_layer = kan.KANConv2DLayer(in_channels=..., out_channels=...) def forward(self, x): return self.conv_layer(x) ``` #### 2. 引入联合域感知模块 (Joint Domain Perception Module) 借鉴ECCV2024 FSEL中的方法，在C3阶段之后增加一个联合域感知模块(Joint Domain Perception Module)，该模块能够增强模型对于输入图像的空间理解力以及上下文关系的学习能力[^2]。此模块可以帮助更好地捕捉到物体之间的关联性和背景信息。 ```python import eccv_fsel.jdp_module as jdp def add_joint_domain_perception(model): model.add_module('jdp', jdp.JDPModule()) # 假设model是已经定义好的YOLOv8模型实例 add_joint_domain_perception(model) ``` #### 3. 应用 EMA 注意力机制 EMA（Exponential Moving Average）注意力机制是一种高效的多尺度注意力建模方式，它能有效处理不同尺寸的目标检测问题，并且在小目标上表现尤为突出[^3]。将这种注意力机制集成到YOLOv8框架内，特别是在`ultralytics/nn/modules/conv.py`文件中加入相应的代码逻辑，有助于进一步改善整体识别精度。 ```python from ultralytics.nn.modules.attention import EMASpatialAttention class EnhancedConvBlock(nn.Module): def __init__(self, ...): ... self.attn = EMASpatialAttention() def forward(self, x): attn_output = self.attn(x) output = self.main_path(attn_output) return output ``` #### 4. 设计 RFE 模块以利用多尺度信息 考虑到不同大小的感受野对应着不同的长程依赖性捕获能力，因此可以通过构建RFE（Receptive Field Enhancement）模块来强化这一点。具体来说，采用具有不同膨胀率(dilation rates) 的空洞卷积分支组合而成的设计方案，不仅实现了对特征图的有效利用，还减少了参数量从而降低过拟合风险[^4]。 ```python import torch.nn.functional as F class RFEModule(nn.Module): def __init__(self, channels): super(RFEModule, self).__init__() # 定义三个带有不同dilation rate的空洞卷积分支 self.branches = nn.ModuleList([ nn.Conv2d(channels, channels//4, kernel_size=3, padding=dil, dilation=dil, bias=False) for dil in [1, 2, 3] ]) self.residual_connection = nn.Identity() self.collect_weighted_layer = nn.Sequential( nn.Conv2d(channels, channels, kernel_size=1), nn.BatchNorm2d(channels), nn.ReLU(inplace=True) ) def forward(self, input_tensor): branch_outputs = [] for conv_branch in self.branches: branch_outputs.append(conv_branch(input_tensor)) concatenated_features = torch.cat(branch_outputs + [input_tensor], dim=1) weighted_feature_maps = self.collect_weighted_layer(concatenated_features) final_output = F.relu(weighted_feature_maps + self.residual_connection(input_tensor)) return final_output ```
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值