YOLOv10改进系列 ---- Conv篇 ---- CVPR2024最新DynamicConv替换下采样

已于 2025-02-20 21:28:49 修改
阅读量1.2k 收藏 17
点赞数 16
分类专栏： YOLOV10涨点系列 文章标签： YOLO 目标检测 人工智能 深度学习 计算机视觉 神经网络
于 2025-02-19 21:09:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_58941767/article/details/145738639
版权

目录

一、本文介绍

二、原理介绍

三、核心代码

四、手把手教你添加DynamicConv机制

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

五、DynamicConv的yaml文件和运行记录

5.1 DynamicConv的yaml文件1

5.2 DynamicConv的yaml文件2

5.3 训练代码 

5.4 DynamicConv的训练过程截图  

五、本文总结

一、本文介绍

本文给大家带来的改进机制是CVPR2024的最新改进机制DynamicConv其是CVPR2024的最新改进机制，这个论文中介绍了一个名为ParameterNet的新型设计原则，它旨在在大规模视觉预训练模型中增加参数数量，同时尽量不增加浮点运算（FLOPs），所以本文的DynamicConv被提出来了，使得网络在保持低FLOPs的同时增加参数量，从而允许这些网络从大规模视觉预训练中获益，下面的图片为V10n和利用了DynamicConv的训练精度对比图，本文内容包含详细教程 + 代码 + 原理介绍。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLOv8改进策略【Head】| 结合CVPR-2024 中的DynamicConv 动态卷积 改进检测头, 优化模型（独家改进）
Limiiiing的博客
02-22 289
在大规模视觉预训练中，通常模型的性能受到数据、参数和FLOP三个关键因素的影响。一般来说，模型的参数数量越多，FLOP也越高，但在移动设备等对计算资源有限制的场景下，需要低FLOP的模型同时又希望模型能从大规模预训练中受益。传统的方法很难在增加参数的同时保持低FLOP，因此需要一种新的设计来解决这个问题，模块应运而生。
YOLOv10改进 | Conv改进篇 | YOLOv10引入DynamicConv替换普通Conv卷积下采样和C2f_GhostModule_DynamicConv替换C2f(来自CVPR2024）
qq_45972324的博客
09-06 3905
大规模视觉预训练显著提高了大型视觉模型的性能。然而，我们观察到低 FLOPs 陷阱，即现有的低 FLOPs 模型无法从大规模预训练中受益。在本文中，我们介绍了一种称为 ParameterNet 的新设计原理，旨在增加大规模视觉预训练模型中的参数数量，同时最大限度地减少 FLOPs 的增加。我们利用DynamicConv动态卷积将其他参数合并到网络中，FLOP 仅略有增加。ParameterNet 方法允许低 FLOPs 网络利用大规模视觉预训练。
YOLOv12改进策略【Head】| 结合CVPR-2024 中的DynamicConv 动态卷积 改进检测头, 优化模型（独家改进）
最新发布
Limiiiing的博客
03-09 293
在大规模视觉预训练中，通常模型的性能受到数据、参数和FLOP三个关键因素的影响。一般来说，模型的参数数量越多，FLOP也越高，但在移动设备等对计算资源有限制的场景下，需要低FLOP的模型同时又希望模型能从大规模预训练中受益。传统的方法很难在增加参数的同时保持低FLOP，因此需要一种新的设计来解决这个问题，模块应运而生。
YOLOv8改进 | Conv篇 | CVPR2024最新DynamicConv替换下采样（包含C2f创新改进，解决低FLOPs陷阱）
Snu77的博客
04-18 5978
动态卷积（Dynamic Convolution）是《DynamicConv.pdf》中提出的一种关键技术，旨在增加网络的参数量而几乎不增加额外的浮点运算（FLOPs）。1. 动态卷积的定义：动态卷积通过对每个输入样本动态选择或组合不同的卷积核（称为"experts"），来处理输入数据。这种方法可以视为是对传统卷积操作的扩展，它允许网络根据输入的不同自适应地调整其参数。
DynamicConv（动态卷积）
热门推荐
微信号：Custom-Software
08-23 1万+
DynamicConv（动态卷积） 第一个总结: 动态卷积的目标在于：在网络性能与计算负载中寻求均衡。常规提升网络性能的方法（更宽、更深）往往会导致更高的计算消耗，因此对于高效网络并不友好。 因而，相比静态卷积，动态卷积具有更强的特征表达能力。 相比静态感知器，动态感知器具有更大的模型。它包含两个额外的计算：(a)注意力权值计算；(2)动态权值融合。尽管如此，这两点额外计算相比感知器的计算量可以忽略： Dynamic Convolution 类似于动态感知器，动态卷积同样具有K个核。按照CNN中的经典设
Dynamic-conv
weixin_50476352的博客
09-25 688
引入动态卷积，即根据多个卷积核对每个输入的关注程度，动态地对它们进行聚合。与静态算法(每层只有一个卷积核)相比，该算法显著提高了网络的表示能力，但增加了大量的计算开销，对高效的网络神经网络更加友好。并且可以很容易地集成到现有的CNN架构中路 论文名称：Dynamic Convolution: Attention over Convolution Kernels 作者：Yinpeng Chen ，Xiyang Dai， Mengchen Liu， Dongdong Chen， Lu Yuan， Zichen
YOLOv5轻量化涨点改进: 卷积魔改 | DynamicConv | CVPR2024 ParameterNet,低计算量小模型也能从视觉大规模预训练中获益
04-15 1191
ParameterNet，旨在增加大规模视觉预训练模型中的参数数量，同时最小化FLOPs的增加，利用动态卷积将额外的参数合并到网络中。
YOLOv10涨点改进：如何魔改注意力进行二次创新，高效替换PSA | NEU-DET为案列进行展开
05-28 6139
在NEU-DET案列进行可行性验证，1）mAP50从0.683提升至0.698；2）mAP50从0.683提升至0.695;
YOLOv10改进 | Conv篇 | CVPR2024最新DynamicConv替换下采样（解决低FLOPs陷阱）
Snu77的博客
07-11 1111
本文给大家带来的改进机制是CVPR2024的最新改进机制DynamicConv其是CVPR2024的最新改进机制，这个论文中介绍了一个名为ParameterNet的新型设计原则，它旨在在大规模视觉预训练模型中增加参数数量，同时尽量不增加浮点运算（FLOPs），所以本文的DynamicConv被提出来了，使得网络在保持低FLOPs的同时增加参数量，从而允许这些网络从大规模视觉预训练中获益，下面的图片为V8n和利用了DynamicConv的训练精度对比图，本文内容包含详细教程 + 代码 + 原理介绍。
YOLOv9改进策略 | Conv篇 | CVPR2024最新DynamicConv替换下采样（解决低FLOPs陷阱）
Snu77的博客
04-22 2458
本文给大家带来的改进机制是CVPR2024的最新改进机制其是CVPR2024的最新改进机制，这个论文中介绍了一个名为ParameterNet的新型设计原则，它旨在在大规模视觉预训练模型中增加参数数量，同时尽量不增加浮点运算（FLOPs），所以本文的DynamicConv被提出来了，使得网络在保持低FLOPs的同时增加参数量，从而允许这些网络从大规模视觉预训练中获益，本文内容包含详细教程 + 代码 + 原理介绍。欢迎大家订阅我的专栏一起学习YOLO！
YOLOv8改进：利用CVPR2024 DynamicConv替换下采样
走向CTO的路上...
07-17 1057
YOLOv8作为目前最先进的目标检测算法之一，在性能和精度方面都取得了显著进步。然而，YOLOv8模型中的下采样操作会造成信息损失，并增加模型的计算量。为了解决这些问题，本文提出了一种利用CVPR2024最新DynamicConv替换下采样方法，以提升模型精度和轻量化。])return xreturn x# ... 其他 YOLOv8 模型部分的代码 ...# ... 其他层 ...# ... 其他 YOLOv8 模型部分的代码 ...
【YOLOv8改进-卷积Conv】 ParameterNet：DynamicConv(Dynamic Convolution)：2024最新动态卷积
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-02 1169
大规模视觉预训练显著提高了大型视觉模型的性能。然而，我们观察到现有的低FLOPs模型无法从大规模预训练中受益。在本文中，我们引入了一种新的设计原则，称为ParameterNet，旨在在大规模视觉预训练模型中增加参数数量的同时，将FLOPs的增加最小化。我们利用动态卷积在网络中引入额外参数，而FLOPs的增加仅为微量。ParameterNet方法使低FLOPs网络能够利用大规模视觉预训练。此外，我们将ParameterNet概念扩展到语言领域，以在保持推理速度的同时增强推理结果。
YOLOv8独家改进：卷积变体系列篇 |动态卷积 DynamicConv, CVPR2024 ParameterNet 低计算量小模型也能从视觉大规模预训练中获益
会AI的学姐
04-28 928
显著提高了大型视觉模型的性能，即现有的低FLOPs模型不能从大规模的预训练中获益
动态滤波器卷积｜DynamicConv【转载】
a578831363的博客
04-19 545
动态滤波器卷积｜DynamicConv【转载】 文章转载自知乎用户：Happy （中国地质大学 计算数学硕士） 文章地址：动态滤波器卷积｜DynamicConv
YOLOv8改进ParameterNet（2024 cvpr）
love_su_hang的博客
03-18 928
tasks.py中的parse_model函数。
动态卷积之CondConv和DynamicConv
jackzhang11的博客
04-13 9421
现在的诸多task中，普遍需要capacity较大的模型，而随着模型参数的不断增加，计算成本也越来越高。对于一些对latency有较高要求的task，显然是一种挑战。在传统的CNN网络中，一旦训练完成，所有的kernal参数就固定了。对于任意的输入，所有的kernal都对他们同等对待。所以为了提高模型的performance，大多数方法堆叠卷积层或者增加卷积层的参数，这种做法显然会造成 computationally expensive。 所以为了压缩模型，动态卷积就应运而生。动态卷积的出发点就是，当训练结
【YOLOv10改进[CONV]】使用DynamicConv二次创新C2f模块实现轻量化 + 含全部代码和详细修改方式 + 手撕结构图 + 全网首发
静谧、淡雅
06-11 823
使用DynamicConv二次创新C2f模块实现轻量化 + 含全部代码和详细修改方式 + 手撕结构图 + 全网首发 + 魔改 + 遥遥领先
基于Pytorch的动态卷积复现
02-27 2963
论文的题目为《Dynamic Convolution: Attention over Convolution Kernels》 paper的地址https://arxiv.org/pdf/1912.03458.pdf 代码实现地址，其中包含一维，二维，三维的动态卷积；分别可以用于实现eeg的处理，正常图像的处理，医疗图像中三维脑部的处理等等（水漫金山）。https://github.com/kaijieshi7/Dynamic-convolution-Pytorch，大家觉得有帮助的话，我就求个star
YOLOv9改进，YOLOv9引入DynamicConv(动态卷积)，二次创新RepNCSPELAN4结构
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
11-17 244
DynamicConv（动态卷积）是一个用于提高卷积神经网络（CNN）性能的技术，核心思想是动态地生成卷积核（filter），而不是使用固定的卷积核。通过引入更多的计算灵活性和适应性来增强卷积操作的表达能力，进而提升模型的性能。专家选择：DynamicConv 通过引入多个“专家”（experts），每个专家学习特定的卷积模式。输入图像的不同部分会选择不同的专家进行卷积。动态卷积核生成：根据输入的不同特征，专家网络动态地生成卷积核，而不是使用固定的卷积核。
dynamicConv
12-31
### 动态卷积（Dynamic Convolution）在深度学习中的实现与应用 动态卷积是一种改进传统静态卷积的方法，在处理不同输入时能够自适应调整其权重或结构。这种灵活性使得模型可以更好地捕捉数据特征并提高性能。 #### 实现方式 一种常见的动态卷积方法是在每次前向传播过程中根据当前输入计算新的卷积核参数。这可以通过引入额外的模块来完成，该模块负责生成特定于给定样本的滤波器集合[^1]。 对于具体的实现细节： - **输入依赖型卷积核生成**：通过一个小规模的辅助网络接收原始图像作为条件信息，并据此预测一组适合此图片特性的过滤器。 ```python import torch.nn as nn class DynamicConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3): super(DynamicConv, self).__init__() # 辅助网络用于生成卷积核 self.kernel_gen = nn.Sequential( nn.Conv2d(in_channels=in_channels, out_channels=out_channels * kernel_size * kernel_size, kernel_size=kernel_size), nn.ReLU(), ... ) def forward(self, x): batch_size = x.size(0) kernels = self.kernel_gen(x).view(batch_size, -1, ...) result = [] for i in range(batch_size): conv_layer = nn.functional.conv2d(input=x[i:i+1], weight=kernels[i]) result.append(conv_layer) return torch.cat(result, dim=0) ``` 上述代码展示了如何构建一个简单的动态卷积层实例。这里的关键在于`kernel_gen`部分的设计——它接受整个批次的数据并通过一系列操作最终得到针对每张图定制化的卷积核矩阵。 #### 使用场景 动态卷积特别适用于那些具有复杂变化模式的任务中，比如视频分析、目标跟踪以及需要高度个性化响应的应用领域。此外，在某些情况下还可以用来增强对抗攻击下的鲁棒性[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不会学AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值