论文阅读——CondConv: Conditionally Parameterized Convolutions for Efficient Inference[2019-NIPS]

最新推荐文章于 2023-07-20 18:33:38 发布
最新推荐文章于 2023-07-20 18:33:38 发布
阅读量312 收藏
点赞数
分类专栏： 论文 文章标签： 论文阅读 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_51426525/article/details/129880246
版权
CondConv是一种通过线性组合一组固定卷积核来动态生成卷积核的方法，其权重由输入样本通过全局平均池化、全连接层和Sigmoid激活函数计算得出。在测试阶段，不变的是卷积核参数，变化的是权重α，从而实现了针对每个样本的高效且适应性的卷积操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文及代码链接：CondConv: Conditionally Parameterized Convolutions for Efficient Inference | Papers With Code

 条件参数化卷积（CondConv），其实质就是将每个样本的卷积核用一组卷积核的线性组合来代替。权重α由r(x)得到，主要包括全局平均池化、全连接层、Sigmoid激活函数三个操作。

在测试过程中，卷积核W的参数是固定的，改变的是权重α，从而实现动态卷积。

其中，n为卷积核的个数（文章成为专家个数），σ为激活函数。

 其中，R为学习路由权重的矩阵

【nnUNetv2进阶】十八、nnUNetv2 魔改网络-小试牛刀-引入Conditionally Parameterized Convolutions卷积
AI爱好者的博客，分享计算机领域相关知识
07-19 585
nnunet使用及改进教程, 本文介绍将conv替换为conditionally conv的方法。nnUNet是一个自适应的深度学习框架，专为医学图像分割任务设计。以下是关于nnUNet的详细解释和特点：自适应框架：nnUNet能够根据具体的医学图像分割任务自动调整模型结构、训练参数等，从而避免了繁琐的手工调参过程。自动化流程：nnUNet包含了从数据预处理到模型训练、验证及测试的全流程自动化工具，大大简化了使用深度学习进行医学图像分割的复杂度。
cv君独家视角 | AI内幕系列十六：一文读懂 NeurIPS 条件卷积模块 CondConv：让模型涨点的秘密武器（附源码实践）
cv君的博客
02-02 1893
在深度学习的浪潮中，卷积神经网络（CNN）一直是图像处理领域的中流砥柱。然而，传统的卷积操作采用静态共享的卷积核，对不同输入样本“一视同仁”，这显然无法满足复杂多变的实际需求。今天，就带大家深入了解一种打破这一局限的创新技术 —— 条件卷积模块 CondConv，看看它是如何让模型性能实现飞跃的。
CondConv: Conditionally Parameterized Convolutions for Efficient Inference
m0_47180208的博客
07-07 1421
用于有效推断的条件参数化卷积摘要引言相关工作条件参数化卷积结论 文章与代码 摘要 卷积层是现代深度神经网络的基本构件之一。一个基本假设是，卷积核应该为数据集中的所有示例共享。我们提出了条件参数化卷积，它为每个例子学习专门的卷积核。用CondConv替换正常卷积使我们能够增加网络的大小和容量，同时保持高效的推断。我们证明，在分类和检测任务上，使用CondConv缩放网络可以改善几种现有卷积神经网络架构的性能和推断成本权衡。 引言 我们提出了条件参数化卷积，通过计算卷积核作为输入的函数来挑战静态卷积核的范式。
条件卷积，我更愿称之为动态卷积CondConv: Conditionally Parameterized Convolutions for Efficient Inference
02-27 4618
CondConv: Conditionally Parameterized Convolutions for Efficient Inference paper：https://arxiv.org/abs/1904.04971 code：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/condconv https://zhuanlan.zhihu.com/p/141868898 该文是谷歌大神.
【论文笔记】CondConv: Conditionally Parameterized Convolutions for Efficient Inference
m0_61899108的博客
02-08 1853
卷积层是深度神经网络的基本组成部分之一，目前的卷积网络的一个基本假设是卷积核应该为数据集中的所有样本所共享。在本文中，作者打破了这个假设，提出了条件参数化卷积（CondConv），它为每个样本学习专门的卷积核。用CondConv替换普通卷积能够增加网络的大小和容量，同时保持有效的推理。通过实验，作者证明了CondConv网络在分类和检测任务上，改善了现有几种卷积神经网络结构的性能和推理成本的权衡。......
CondConv: Conditionally Parameterized Convolutions for Efficient Inference 论文阅读笔记
qq_55763810的博客
07-20 172
这篇的想法是想要通过几个卷积核的线性组合来实现针对特定数据的卷积核来实现有条件的参数化卷积。但感觉可能仅靠几个卷积核的线性组合不一定能得到适合输入数据的卷积核，还有在训练的时候是不是可以考虑让每个expert代表的卷积核之间尽量不同这样每个expert组合就更有多样性。读这篇论文时，读的时候云里雾里，给的图片示例看的不是很懂，然后在网上找到了CondConv的pytorch实现的代码（还好比较简单，环境也正好）调试了一下，最后对这篇论文的逻辑基本顺通了。对于图1(b)，与(a)不同的是这里对。
条件参数化卷积CondConv
qq_42075634的博客
04-11 1223
CondConv: Conditionally Parameterized Convolutions for Efficient InferenceN，eurIPS 2019 CondConv：用于高效推理的条件参数化卷积 论文 官方源码 摘要： 卷积层是现代深度神经网络的基本组成部分之一。一个基本假设是，数据集中的所有示例都应该共享卷积核。我们提出了条件参数化卷积（CondConv），它为每个示例学习专门的卷积核。用 CondConv 替换普通卷积使我们能够增加网络的大小和容量，同时保持有效的推理。我们证
动态卷积&&条件卷积
weixin_43921949的博客
10-24 5232
有关动态卷积&&条件卷积的一些记录与想法
一文看尽深度学习中的20种卷积（附源码整理和论文解读）
qq_29462849的博客
06-26 3096
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达引言卷积，是卷积神经网络中最重要的组件之一。不同的卷积结构有着不一样的功能，但本质上都是用于提取特征。比如，在传统图像处理中，人们通...
论文阅读CondInst《Conditional Convolutions for Instance Segmentation》
jackzhang11的博客
04-10 3701
论文链接：http://xxx.itp.ac.cn/pdf/2003.05664v3 CondInst是ECCV20上的一篇关于实例分割的文章，个人感觉和YOLACT的思路有相似之处（CondInst最后的处理更加直接简洁）。作者将全卷积网络应用在实例分割的task上，通过采用动态生成的conditional convolution，解决了之前全卷积网络在实例分割上不work的问题。 涉及的问题 作者首先分析了经典的Mask RCNN的问题：（1）由于采用bbox先做框定，所以对于一些不规则的instanc
（一）动态卷积之CondConv
Billie使劲学的博客
04-06 4803
题目：CondConv: Conditionally Parameterized Convolutions for Efficient Inference paper：paper code：code 目录 前言 CondConv是什么？ CondConv解决了什么问题？ CondConv做了怎样的工作？ 用了怎样的方法？ 实验结果 结论 要点总结（详细版） 前言 该文是谷歌大神Quov V.Le出品，一种条件卷积，我更愿称之为动态卷积。 卷积是当前CNN网络的基本构成单元之一
CondConv--动态卷积思想
panghuzhenbang的博客
05-16 1942
论文地址： 《CondConv: Conditionally Parameterized Convolutions for Efficient Inference》 问题 常规卷积具有权值共享的特点，即所有的样本共享卷积网络中的卷积参数，因此，若想提升模型的容量，就需要增加网络的深度或者宽度，这会导致模型的计算量和参数量增加，模型部署难度大；然而，在某些cv应用中，要求模型的实时性高，及需要模型拥有较低的参数量和计算量。 思想 作者提出一种条件参数卷积用于解决上述问题，它通过输入计算卷积核参数打破
CondConv：按需定制的卷积权重
hey-yahei
10-31 6272
原文链接：CondConv：按需定制的卷积权重 | Hey~YaHei! 最近正巧在看条件计算的东西，发现今年Google Brain发了一篇思路清奇的论文《CondConv: Conditionally Parameterized Convolutions for Efficient Inference(2019NeurIPS)》，这思路简直让人拍案叫绝，只可惜这种模型需要重新定制卷积算子才能有...
Tensorflow 模型量化 （Quantizing deep convolutional networks for efficient inference: A whitepaper 译文）
妙猪的专栏
07-30 3万+
最近Tensorflow官方发布了一份《Quantizing deep convolutional networks for efficient inference》白皮书，共36页，讲解了基于Tensorflow的模型量化的有关知识。由于最近也在学习模型量化这部分工作，所以计划对这份文档翻译一下，同时share给大家。由于工作时间所限，我尽量每天翻译一些，如果有误解的地方，也请大家批评指正。 ...
【人工智能】NIPS2019 | 2019NIPS论文 | NeurIPS2019最新更新论文~持续更新| NIPS2019百度云下载
中科院AI算法工程师的博客
09-04 3万+
论文下载百度云链接：链接：https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码：请关注【计算机视觉联盟】微信公众号，回复：NIPS2019 今天更新到2019年10月11号 目录 今天更新到2019年9月4号 Understanding the Representation Power of Graph Neural Networks i...
动态卷积之CondConv思想和代码实现
机器学习，深度学习
03-21 7401
论文题目:CondConv: Conditionally Parameterized Convolutions for Efficient Inference 论文地址: https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1904.04971 代码地址:https://link.zhihu.com/?target=https%3A//github.com/tensorflow/tpu/tree/master/models/offici...
动态卷积论文进展
Freedom_sky_的博客
05-25 866
1、CondConv: Conditionally Parameterized Convolutions for Efficient Inference 根据每张图片自动生成与图片信息相关的卷积核，从而实现动态卷积的目的。（卷积核与每一张图片自动相关） 2、DYNET: DYNAMIC CONVOLUTION FOR ACCELERATING CONVOLUTIONAL NEURAL NETWORKS Coefficient prediction模块生成C个参数，再施加到gt个专家权重之上，即运.
【AI 顶会】NIPS2019接收论文完整列表
热门推荐
TomRen
09-11 3万+
NeruIPS2019接受的论文列表已放出
动态卷积层论文提出
最新发布
03-20
### 动态卷积层的研究背景 动态卷积层是一种能够自适应调整其参数或结构的卷积机制，在处理不同输入数据时表现出更高的灵活性和效率。这种技术的核心在于通过学习的方式使模型能够在运行过程中自动选择最合适的滤波器组合[^1]。 在神经网络架构设计领域，《Generating Sequences With Recurrent Neural Networks》虽然主要关注序列生成任务，但它启发了许多后续研究工作，这些研究探索了如何让网络具备更强的表达能力和更灵活的学习能力。类似的思路也被引入到卷积神经网络的设计中，从而产生了动态卷积的概念。 对于图神经网络（Graph Neural Network, GNN），节点级别的输出通常涉及回归和分类任务。RecGNN 和 ConvGNN 能够通过信息传播/图卷积提取高层次的节点表示，并利用多感知机或多 softmax 层完成端到端的任务解决过程[^2]。尽管这一部分讨论的是图上的操作，但其中提到的信息传递机制也与动态卷积的思想有所关联——即根据不同上下文调整计算方式。 另外，“Flattened convolutional neural networks for feedforward acceleration” 提出了扁平化卷积方法，该方法通过对标准卷积核进行分解来加速前向传播速度[^3]。这种方法可以看作是静态版本的动态卷积实现之一，因为它同样试图优化传统卷积运算模式下的资源利用率。 基于以上背景介绍，以下是几篇重要的关于 **Dynamic Convolution Layer** 的代表性论文： #### 论文推荐列表 1. **CondConv: Conditionally Parameterized Convolutions for Efficient Inference** - 这篇文章提出了条件参数化的卷积 (Conditional Parameterization)，允许每个样本拥有自己独特的权重集合，从而提高推理阶段的表现效果。 2. **Dynamic Filter Networks** - 文章介绍了动态过滤器网络概念，它可以根据当前输入图像的内容实时生成相应的卷积核，增强了模型应对复杂场景的能力。 3. **Octave Convolution (OctConv): Drop Your Spatial Dimensions!** - OctConv 将特征映射分为高低频两部分分别处理后再合并起来，这样既保留了细节又降低了整体计算量；同时支持动态切换分辨率级别来进行高效训练测试流程管理。 4. **Pay Attention To MLPs** - 此外还有研究表明仅依靠MLP也可以达到甚至超越Transformer的效果，这表明未来或许存在更多形式各异却功能强大的新型“动态”组件等待被发现挖掘出来用于改进现有CNN体系结构性能指标等方面取得突破进展的可能性极大增加了很多新的方向值得深入探讨下去不断推进整个AI行业向前发展迈出坚实步伐！ ```python import torch.nn as nn class DynamicConvLayer(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3): super(DynamicConvLayer, self).__init__() # Example implementation using PyTorch's Grouped Convolution to simulate dynamic behavior. self.conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels * 8, # Assume factor of 8 groups dynamically selected at runtime. kernel_size=kernel_size, padding=(kernel_size//2), bias=False) def forward(self, x): batch_size = x.size(0) y = self.conv(x).view(batch_size, -1, 8)[:, :, :].mean(dim=-1) # Simulate selection mechanism here. return y.unsqueeze(-1).unsqueeze(-1) ``` 上述代码片段展示了一个简单的模拟动态卷积层的方法，实际应用中可能还需要考虑更多的因素如硬件兼容性和具体应用场景需求等问题才能构建真正意义上的高性能解决方案。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值