空洞卷积、可变形卷积、可变形ROI Pooling

最新推荐文章于 2024-07-19 14:43:16 发布
原创 最新推荐文章于 2024-07-19 14:43:16 发布 · 2.1k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #目标检测 #计算机视觉

本文详细介绍了空洞卷积（Dilated Convolution）和可变形卷积（Deformable Convolution）的概念，以及它们在深度学习中的应用。空洞卷积通过在卷积核中插入空洞来扩大感受野，适用于目标检测和分割任务，而可形变卷积则允许在卷积过程中学习附加的偏移量，以适应不规则形状的目标，两者都是为了解决传统卷积的局限性。此外，还提及了可形变ROIPooling，它是对ROIPooling的扩展，增强了对目标区域的适应性。这些技术对于捕捉多尺度上下文信息和处理复杂形状的目标具有重要意义。

文章目录

  1. 为什么要提空洞卷积、可形变卷积、可形变ROI池化？
    答：这些技术的提出与卷积核的感受野有关系，感受野指的是：特征图在原图上的映射区域，一般来说使用更大的卷积核和池化会增大感受野的大小（或者使用卷积+池化的操作），但是这种提升有限或者会损失精度。空洞卷积、可形变卷积、可形变ROI池化能够在不损失较多精度的情况下，有效增大感受野。

空洞卷积（Dilated Convolution）

  • 基本原理：Dilated/Atrous Convolution(中文叫做空洞卷积或者膨胀卷积) 或者是 Convolution with holes 从字面上就很好理解，是在标准的 convolution map 里注入空洞，以此来增加 reception field。相比原来的正常convolution，dilated convolution 多了一个 hyper-parameter 称之为 dilation rate，指的是kernel的间隔数量(e.g. 正常的 convolution 是 dilatation rate 1)。
    在这里插入图片描述

  • 感受野计算公式

  • PyTorch实现：在Conv2d中使用参数dilation来实现

  • 空洞卷积的好处：

    • 扩大感受野：在deep net中为了增加感受野且降低计算量，总要进行降采样(pooling或s2/conv)，这样虽然可以增加感受野，但空间分辨率降低了。为了能不丢失分辨率（持怀疑态度），且仍然扩大感受野，可以使用空洞卷积。这在检测，分割任务中十分有用。一方面感受野大了可以检测分割大目标，另一方面分辨率高了可以精确定位目标。
    • 捕获多尺度上下文信息：空洞卷积有一个参数可
最低0.47元/天 解锁文章
深度学习之空洞卷积
03-09
深度学习之空洞卷积原始出处论文，介绍了空洞卷积实现方法以及实现意义。
【论文精读】DCNv1:可变形卷积网络和可变形ROI池化（Deformable Convolutional Networks）
慕溪同学的博客
03-25 2624
卷积神经网络（CNN）由于其构建模块中的固定几何结构而固有地限于模型几何变换。在这项工作中，我们引入了两个新的模块来增强CNN的变换建模能力，即可变形卷积和可变形RoI池化。两者都是基于这样的想法，即在模块中增加额外的偏移量并从目标任务中学习偏移量，而无需额外的监督。新的模块可以很容易地取代现有CNN中的普通模块，并且可以通过标准的反向传播很容易地进行端到端的训练，从而产生可变形的卷积网络。大量的实验验证了我们的方法的性能。
可变形卷积、空洞卷积（能使感受野更大的特殊卷积核）
XDXDXDXDX111的博客
11-15 1174
一：可变形卷积：在感受野中引入了可学习的偏移量，能够使得感受野不再是死板的方形，而是与物体的实际形状贴近，偏移之后的卷积区域可以更好地去覆盖物体形状周围。的卷积核只能覆盖面积为9的区域，而相同参数量的空洞卷积则可以覆盖面积为 25 的感受野。普通卷积核，除了中间带红点的位置权值不为 0 并参与卷积计算外，其他点的权值均为 0，对卷积计算结果不会做出贡献。（1）扩大感受野：使用空洞卷积可以使得参数量相同的情况下，增加卷积的感受野，原本。卷积核，图（b）是一个空洞参数为 2（参与计算的相邻元素之间的距离）的。
卷积核：分组卷积、可分离卷积、空洞卷积、可变形卷积
clover_my的博客
04-14 2847
卷积核：分组卷积、可分离卷积、空洞卷积、可变形卷积 CNN从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。注：水平所限，下面的见解或许有偏差，望大牛指正。另外只介绍其中具有代表性的模型，一些著名的模型由于原理相同将不作介绍，若有...
CNN中的深度可分离卷积、组卷积、逐层卷积、空洞卷积、转置卷积、可变形卷积
cdknight_happy的专栏
12-18 4113
参考： https://zhuanlan.zhihu.com/p/28749411 https://blog.youkuaiyun.com/Chaolei3/article/details/79374563 1 普通卷积 CNN中的普通卷积是三维卷积，每个卷积核的通道数和输入数据通道数相同，卷积核的个数为输出数据的通道数。具体的计算过程为在各通道进行卷积核和对应感受野输入数据的对应位置相乘再相加操作，得到一个...
人工智能/机器学习基础知识——空洞卷积、RoI Pooling、RoI Align、RPN、DCN
WindGrin_的博客
04-12 1025
人工智能/机器学习基础知识——空洞卷积、RoI Pooling、RoI Align、RPN、DCN
可变形卷积：Deformable ConvNets
Airs-Gao的博客
11-30 7385
可变形卷积：Deformable ConvNets DCNv1论文网址：Deformable Convolutional Networks DCNv2论文网址：Deformable ConvNets v2: More Deformable, Better Results DCNv2代码：https://github.com/CharlesShang/DCNv2/tree/pytorch_0.4 DCNv1 1. 空洞卷积（dilated conv） 在图像分割领域，图像输入到CNN（典型的网络比如FC
深度学习笔记（一）：卷积变种（分组卷积、空洞卷积、深度可分离卷积、可形变卷积） 卷积中的不一样的操作
最新发布
生活需要深度
07-19 1222
AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，receptive field（感受野）越大，看到的图片信息越多，因此获得的特征越好。图来自微软亚洲研究院公众号要做到这个操作，可以直接在原来的过滤器前面再加一层过滤器，这层过滤器学习的是下一层卷积核的位置偏移量（offset），这样只是增加了一层过滤器，或者直接把原网络中的某一层过滤器当成学习offset的过滤器，这样实际增加的计算量是相当少的，但能实现可变形卷积核，识别特征的效果更好。
可变形卷积网络：Deformable Convolutional Networks
huangyiping12345的博客
04-29 3846
参考文献：https://arxiv.org/abs/1703.06211 代码实现：https://github.com/msracver/Deformable-ConvNets 包括理解！ Deformable Convolutional Networks 摘要 卷积神经网络（CNNs）由于其构建模块中固定的几何结构，其固有的局限性在于模型的几何变换。在这项工作中，我们引入了两个新的模块来增强...
论文及代码详解——可变形卷积（DCNv1）
zyw2002的博客
08-17 1万+
这四对坐标每个坐标都对应U中的一个像素值, 而我们需要得到(a,b)的像素值, 这里采用双线性差值的方式计算, 因为一方面得到的像素准确, 另一方面可以进行反向传播。DCN的卷积过程和普通卷积一样，如上图所示，假设有个2x2的kernel, 它也是以一个2x2的滑窗的形式（绿色的框）在原始图片上从左到右，从上到下进行滑动。采样点的像素值和上文中提到的可变形卷积中的一样，也是通过双线性插值得到的。它的每roi计算成本可以忽略不计。我们实验了不同数量的这类层，发现3是不同任务的一个很好的权衡，如表1所示。
深度学习基础--DPM（Deformable Part Model）/形变层/形变池化层
wydbyxr的博客
11-12 1695
DPM（Deformable Part Model）/形变层/形变池化层   在CV研究领域中，一些学者将深度学习模型视为黑盒子，实际上研究表明传统计算机视觉系统和深度学习模型存在密切的联系，而且可以利用传统的特征以及上述联系，设计出新的深度模型和新的训练方法。 例子1   用于行人检测的联合深度学习，一个行人检测器包括了特征提取、部件检测器、部件集合形变建模、部件遮挡推理、分类器等等，在联合深度...
可变形卷积（DCN，Deformable Convolution Network）
热门推荐
jiangqixing0728的博客
08-10 5万+
ICCV 2017的一篇文章。可变形卷积（DCN）的原理和实现。在目标检测领域应用广泛，在项目、课程设计、毕业设计、比赛中对许多数据集和许多目标检测算法（只要含卷积操作），都能有不错的提升，泛化性很强。
pytorch ROI_pooling最简实现
Emiedon的博客
12-02 7345
代码来源：https://github.com/SirLPS/roi_pooling 注释掉的是我工程中需要的代码，没注释的是pytorch版roi_pooling，供各位需要修改roi_pooling的同学参考 # -*- coding:UTF-8 -*- import time import torch import torch.nn.functional as F from torch...
DeepID-Net——形变约束池化层（对象检测）
cjea42103的博客
10-09 419
在本文中，简要回顾了DeepID-Net，介绍了一种基于形变部件的卷积神经网络（CNN）。采用一个新的形变约束池化层(def-pooling)模拟具有几何约束和惩罚的对象部分的变形。 这意味着，除了直接检测整个对象...
【论文精读】低参数的大感受野可变形卷积层插件——OBELISK
过招
12-07 677
总之，我们相信 OBELISK 的可变形卷积是一种很有前途的强大的插件，可以很容易地集成到现有的浅 U 形网络中，并为将其用作预先训练的低参数形状编码器提供了巨大的潜力。
学习笔记十二——Deformable Convolutional Networks
Shl_1024的博客
12-28 558
一、提出问题 视觉识别中一个关键挑战是如何在目标尺度，姿态，视点和部件变形中适应几何变化或建模几何变换，即适应物体的形变。 现有解决方法：1）建立具有足够期望变化的训练数据集。例如通过仿射变换增加现有数据样本，即学习足够多的数据使模型能够适应各种形状的物体。 2）使用变换不变的特征和算法。如SIFT（尺度不变特征变换）和基于滑动窗口的目标检测。 存在的缺点：1）针对第一个解决方法，几何变换...
卷积层（包含可变性卷积）+池化学习路径
Ema1997的博客
06-04 404
卷积： 中间那个就是卷积核了，其实就是3x3的方格，里面填一些数字，然后和原始图像进行对应位置相乘求和。 转置卷积或反卷积： https://blog.youkuaiyun.com/lanadeus/article/details/82534425 卷积图示操作链接（包含卷积、反卷积（转置卷积）和步长dilation padding对卷积影响）： https://github.com/vdumoulin/conv_arithmetic/blob/master/README.md#dilated-convolution
可变形卷积
jacke121的专栏
09-19 7338
代码：https://github.com/4uiiurz1/pytorch-deform-conv-v2 https://github.com/msracver/Deformable-ConvNets. 卷积神经网络（CNNs）由于其固定的几何结构而固有地局限于模型几何变换。 在这项工作中，我们引入两个新的模块来增强CNN的变换建模能力，即可变形卷积和可变形RoI池。两者都是基...
可变性卷积（Deformable Convolution network）系列论文学习
qq_41950533的博客
07-06 2244
Deformable Convolution network 0.摘要 作者觉得传统的卷积感受野太小了，如果进行pooling减少图片的尺寸，在进行卷积肯定会损失很多信息。 可变性卷积和空洞卷积有点类似，从周围的像素点中提取信息。作者一共提供了两种新的方法：可变性卷积和可变性池化 1.可变形网络 1.1可变形 普通卷积和可变性卷积区别（y是输出，p是位置信息，w权重，x输入）： 在普通卷积的基础上加上偏移量offsets ： 最终是实现过程是通过双线性插值： 反向传播的过程： 偏移量是通过卷
可变形卷积与注意力机制在滚动轴承诊断中的应用
资源摘要信息:"本资源包含了一个基于可变形卷积(Deformable Convolutional Networks, DCN)和注意力机制(Attention Mechanism)的滚动轴承故障诊断Python项目源码。该项目源码是一个完整的工程项目，旨在为计算机相关...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值