代码实现-CVPR2020-Dynamic Convolution: Attention over Convolution Kernels

原创 已于 2022-03-01 10:25:18 修改 · 462 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #cnn #动态卷积

于 2022-03-01 10:22:30 首次发布
本文重点讲解了动态卷积中Bias参数的修正，着重提到了初始值设置的issue，并介绍了从固定参数到样本自适应参数的理论转变。研究了高维特征作为输入的优势，并建议根据具体任务调整。

代码参考链接

链接1
链接2
强调注意看issue部分，动态卷积的参数初始化很重要，Bias初始化的部分有错误。需要根据issue进行修改。self.bias = nn.Parameter(torch.zeros(K, out_planes))
在这里插入图片描述

论文理解材料

链接
核心思想，原来是多个样本采用一组固定的卷积参数，现在是每个样本输入，对应生成一组卷积参数，训练的时候有K个卷积核参数，通过attention模块产生K个参数，组合叠加生成对应的一组卷积参数。
另外，高维特征适合作为动态卷积的输入，需要根据实际任务场景进行微调。

Dynamic Convolution: Attention over Convolution Kernels
dawnyi_yang的博客
02-13 2089
摘要 文章提出的动态卷积能够根据输入，动态地集成多个并行的卷积核为一个动态核，可以提升模型表达能力而无需提升网络深度与宽度。通过简单替换成动态卷积，MobileNetV3-small取得了2.3%的性能提升且仅增加了4%的FLOPS，在COCO关键点检测任务中取得了2.9MAP性能提升。 文章地址：Dynamic Convolution: Attention over Convolution Kernels 方法 动态卷积的目标是在在网络性能与计算负载中寻求均衡，主要是通过多卷积核融合提升模型表达能力。所得
【论文笔记】Dynamic Convolution: Attention over Convolution Kernels
m0_61899108的博客
08-01 3422
相比高性能深度网络，轻量型网络因其低计算负载约束(深度与通道方面的约束)导致其存在性能降低，即比较有效的特征表达能力。为解决该问题，作者提出动态卷积它可以提升模型表达能力而无需提升网络深度与宽度。不同于常规卷积中的单一核，动态卷积根据输入动态的集成多个并行的卷积核为一个动态核，该动态核具有数据依赖性。多核集成不仅计算高效，而且具有更强的特征表达能力(因为这些核通过注意力机制以非线性形式进行融合)。.........
[解读] Dynamic Convolution: Attention over Convolution Kernels
天在那边
04-25 5772
链接: https://arxiv.org/abs/1912.03458v2 本文针对卷积神经网络, 提出一种动态卷积模块, 仅增加很少的计算量, 来获得性能上的较大提升. 相近的工作 动态卷积中的 Attention 模块来源于 SENet[13] 网络, 它可以自动学习到不同通道特征的重要程度, 生成对应的权重, 这相当于一种注意力机制. 与 SENet 不同的是, 动态卷积处理的对象是卷积...
【论文阅读】Dynamic Convolution: Attention over Convolution Kernels（CVPR2020）
络小绎
03-25 1566
论文题目：Dynamic Convolution: Attention over Convolution Kernels（CVPR2020） 论文地址：https://arxiv.org/abs/1912.03458 代码地址：https://github.com/kaijieshi7/Dynamic-convolution-Pytorch https://github.com/prstrive/CondConv-tensorflow 2种代码均为非官方实现，其中pytorch代码讲解见[1]。
论文阅读——Dynamic Convolution: Attention over Convolution Kernels
长路漫漫亦灿灿
04-04 311
的基础上进行改进的。对CondConv生成权重部分进行改进，用SE（将最后的sigmod替换成softmax）注意力生成不同卷积核的权重。动态卷积不是每层使用单个卷积核，而是根据输入相关的注意力动态聚合多个并行卷积核。
CVPR 2020| Dynamic Convolution动态卷积(keras实现)
u011447962的博客
09-01 3407
微软研究院 Dynamic Convolution: Attention over Convolution Kernels paper:https://arxiv.org/abs/1912.03458 摘要 轻量级权重卷积神经网络（CNN）由于其较低的计算预算限制了CNN的深度（卷积层的数量）和宽度（通道的数量），因此性能下降，导致特征表达能力有限。为了解决这个问题，提出了动态卷积，一种在不增加网络深度或宽度的情况下增加模型复杂性的新设计。动态卷积不是在每层使用单个卷积核，而是基于其注意力机制...
Dynamic-convolution-Pytorch:Pytorch !!! Pytorch !!! Pytorch !!! 动态卷积
05-29
Dynamic Convolution: Attention over Convolution Kernels (CVPR-2020) paper: 非官方实现代码 Pytorch!!!Pytorch!!!Pytorch!!! Dynamic 3d/2d convolution and some models' accuracy. 2020/8/30 Basic dynamic 2d...
Dynamic Convolution: Attention over Convolution Kernels (CVPR-2020)
邹小驴
06-06 343
ddd
[动态卷积]--Dynamic Convolution：Attention over Convolution Kernels
weixin_42096202的博客
12-11 8214
文章的方法并没有在ResNet等大网络上测试，我觉得最大的问题就是参数量3倍、4倍的涨幅，而且存在训练困难的问题。因为这些问题，没有继续看下去。 摘要： 轻量级卷积神经网络(CNNs)由于其较低的计算预算限制了CNNs的深度(卷积层的数量)和宽度(通道的数量)，导致其性能下降，从而限制了其表示能力。为了解决这个问题，我们提出了动态卷积，一种新的设计，在不增加网络深度或宽度的情况下增加模型的复...
Dynamic Convolution: Attention over Convolution Kernels 论文阅读笔记
read, note and comment papers
07-13 394
这篇是CVPR2020的文章 目的是用更轻量化的网络提供更高的性能 因此采取了这样的结构，同一个层有多个卷积核，但是用attention网络组合成一个，这样增加了网络参数但是网络速度并没有多少降低 ...
（CVPR-2020）动态卷积：注意力卷积核
顾道长生的科研笔记
02-10 7397
动态卷积:注意力卷积核 论文题目：Dynamic Convolution: Attention over Convolution Kernels paper是微软发表在CVPR2020的工作 论文地址：链接 Abstract 轻量卷积神经网络（CNN）由于其较低的计算预算限制了CNN的深度（卷积层数）和宽度（通道数），导致其表达能力有限，因此性能会下降。为了解决这个问题，作者提出了动态卷积，这是一种在不增加网络深度或宽度的情况下增加模型复杂性的新设计。动态卷积不是每层使用一个卷积核，而是根据关注
34篇 CVPR2019 论文实现代码,涵盖CV各个领域
nbxuwentao的博客
07-02 707
reference : http://www.sohu.com/a/322172051_717210
动态卷积之Dynamic Convolution
机器学习，深度学习
03-23 1万+
论文题目:Dynamic Convolution: Attention over Convolution Kernels 论文地址:https://arxiv.org/abs/1912.03458 前几天发布了关于动态卷积CondConv的文章.今天,我想介绍另一种类型动态卷积Dynamic Convolution,相关文章链接在本文的开头已经给出,感兴趣的可以自己去下载并阅读.最近发现这个卷积的研究比较热门,研究者们试图要打破常规卷积对数据"一视同仁"的思想,设计一种依赖于输入样本的卷积即每个样本.
（二）动态卷积之Dynamic Convolution
热门推荐
Billie使劲学的博客
04-07 2万+
代码地址：code 论文题目：Dynamic Convolution: Attention over Convolution Kernels 论文地址：paper 目录 前言 Dynamic Convolution解决的问题 动态感知机 Dynamic Convolution结构 实验结果 Dynamic Convolution代码实现(Pytorch) 前言 动态卷积 现在的诸多task中，普遍需要capacity较大的模型，而随着模型参数的不断增加，计算成本也越来越高。
Dynamic Attention guided Multi-Trajectory Analysis for Single Object Tracking
weixin_44419695的博客
04-12 549
Motivation： 现有的单目标跟踪方法主要是基于局部搜索窗的方式，这会让跟踪器更加的vulnerable。尽管有全局搜索的方法，但是在如何选择上面是个两难的问题，而且引入全局信息在有相似物体的时候也很难。作者提出一个问题，能否让局部和全局搜索动态的结合起来。在本文，作者构建了一个由大量的目标模板组成的动态表观模型，基于不同的模板不同的跟踪结果建立了多轨迹的跟踪历史，最后引入了多轨迹的选择网络来实现最好的结果。 作者认为提升深度特征到达了瓶颈，需要设计更加新颖有效地跟踪策略。 方法： 1.动态的全局目
动态卷积&&条件卷积
weixin_43921949的博客
10-24 5362
有关动态卷积&&条件卷积的一些记录与想法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值