卷积神经网络还没有凉！可变形卷积网络最新成果拿下 CVPR 2024！

最新推荐文章于 2025-10-08 12:20:04 发布
原创 最新推荐文章于 2025-10-08 12:20:04 发布 · 1k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #cnn #人工智能

卷积神经网络（CNN）提出了这么久，针对于CNN的改进还能拿下顶会吗？

DCNv4在继承对前几版本DCN对卷积核改进的成果外，针对于DCN算子的计算速度做出了更多改进，成功拿下CVPR2024。DCN相较于传统CNN的核心优势在于其动态适应性和灵活性。传统CNN的卷积核限制了其对目标的建模能力，而DCN通过引入可学习的偏移量，使得卷积核能够根据输入内容动态调整。

我整理了各版本可变形卷积网络（v1 - v4）的论文将帮助大家深入了解DCN。

点击【AI十八式】的主页，获取更多优质资源！

一、Deformable Convolutional Networks（DCNv1）

1.方法

  1. 可变形卷积

    • 在标准卷积的规则采样网格上引入可学习的2D偏移量，使采样位置能够根据输入特征动态调整。偏移量通过附加的卷积层从前一层特征图中学习，无需额外监督。

    • 使用双线性插值实现分数坐标的采样，保证计算效率。

  2. 可变形RoI池化

    • 在传统RoI池化的固定空间分箱基础上，为每个分箱位置添加可学习的偏移量，使池化区域能够适应物体形状变化。

    • 通过全连接层或卷积层生成归一化的偏移量，并映射到实际坐标。

  3. 网络集成与训练

    • 可变形模块可直接替换现有CNN中的标准卷积和RoI池化层，通过反向传播端到端训练。

    • 初始化偏移学习层时权重设为零，学习率根据任务调整。

2.创新点

  1. 动态空间自适应

    • 提出可变形卷积和可变形RoI池化，首次在深层CNN中实现密集空间变换建模，克服了传统CNN固定几何结构的限制。

  2. 无监督偏移学习

    • 偏移量完全由目标任务驱动学习，无需额外标注或手工设计，显著提升模型对几何变换的鲁棒性。

  3. 高效性与通用性

    • 通过双线性插值和轻量级参数设计，计算开销仅小幅增加。

    • 可无缝集成至主流网络。

  4. 实验验证与性能突破

    • 在目标检测和语义分割任务中显著优于基线模型。

    • 可变形卷积的有效感受野与物体尺度自适应，验证了其空间建模能力。

  5. 理论扩展性

    • 可变形卷积是空洞卷积的泛化形式，支持更灵活的感受野调整。

    • 与STN、DPM等方法相比，避免了全局参数化或浅层模型的局限性，更适合复杂视觉任务。 论文链接：https://arxiv.org/pdf/1703.06211

二、Efficient Deformable ConvNets: Rethinking Dynamic and Sparse Operator for Vision Applications(DCNv4)

1.方法

  1. 动态性与稀疏性优化

    • 移除Softmax归一化：在DCNv3中，空间聚合权重通过softmax归一化到0-1范围，限制了权重的动态表达能力。DCNv4移除softmax，使权重范围无界，增强模型的动态性和表达能力。

    • 内存访问优化：作者分析DCNv3的GPU内存访问模式，发现冗余的内存读取。DCNv4通过合并线程处理多个通道、向量化加载/存储指令，减少内存访问次数，显著降低延迟。

  2. 算子实现改进

    • 计算与存储分离：将偏移和动态权重的线性层合并，减少网络碎片化，降低GPU内核启动开销。

    • 简化模块设计：移除DCNv3中的LayerNorm和GELU层，采用轻量化的可分离卷积结构，进一步提升运行效率。

    • 半精度支持优化：通过向量化指令和内存布局优化，显著提升FP16/BF16格式下的计算吞吐量。

  3. 通用化适配

    • 跨架构兼容性：将DCNv4作为通用算子集成到ConvNeXt和ViT，在不调整超参数的情况下保持性能并提升速度。

    • 生成模型应用：在扩散模型（如Stable Diffusion的U-Net）中替换常规卷积，验证DCNv4在生成任务中的有效性。

2.创新点

  1. 动态权重的无界表达
    通过移除softmax，使DCNv4的聚合权重范围不受限，克服了DCNv3的表达能力瓶颈，同时加速了模型收敛速度。

  2. 内存访问效率革命

    • 提出“组内通道合并处理”策略，减少冗余内存访问，实现3倍以上的前向速度提升。

    • 结合向量化指令和半精度优化，内存带宽利用率提升至原DCNv3的2倍以上。

  3. 多任务与多架构通用性

    • 感知任务：在FlashInternImage中替换DCNv3，目标检测、语义分割和3D检测任务中速度提升80%，并且性能超越基线模型。

    • 生成任务：首次验证DCN系列在扩散模型中的有效性，FID指标优于常规卷积。

  4. 轻量化设计
    通过合并线性层、简化网络结构，耗时降低至DCNv3的30%。

论文链接：https://arxiv.org/pdf/2401.06197

点击【AI十八式】的主页，获取更多优质资源！

AI十八式
关注
【五.目标检测技术演进】【1.两阶段检测器：R-CNN系列进化史】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-16 217
你永远不知道一张照片里藏着多少秘密——这是我在学习计算机视觉时最深刻的感受。当人类能在一瞥之间认出咖啡杯、行人和红绿灯时，计算机却需要经历从"视觉文盲"到"图像侦探"的蜕变。今天我们要聊的，正是这个蜕变过程中最关键的技术革命：两阶段目标检测器的进化史。这个技术家族的每个成员，都像是侦探学院里的优等生，不断突破着机器视觉的认知边界。
最全综述 | 图像分割算法
qq_40851561的博客
11-08 3万+
原文链接传送 图像分割是计算机视觉研究中的一个经典难题，已经成为图像理解领域关注的一个热点，图像分割是图像分析的第一步，是计算机视觉的基础，是图像理解的重要组成部分，同时也是图像处理中最困难的问题之一。所谓图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。简单的说就是在一副图像中，把目标从背景中分离出来。对于灰度图像来说，区域内部的像素一般具有灰度相似性，而在区域的边界上一般具有灰度不连续性。
可变形卷积(Deformable Conv)原理解析与torch代码实现
panghuzhenbang的博客
03-28 5万+
图6为可变形卷积示意图。图1所示为普通卷积在输入特征图上进行卷积计算的过程，卷积核大小为3*3，在输入特征图尺寸为7*7上进行卷积，将卷积核权重与输入特征图对应位置元素相乘并求和得到输出特征图元素，按一定方式滑动窗口就能计算得到整张输出特征图。图6所示，在input feature map上普通卷积操作对应卷积采样区域是一个卷积核大小的正方形（绿框），而可变形卷积对应的卷积采样区域为一些蓝框表示的点，这就是可变形卷积与普通卷积的区别。先来一张图感受一下，图3为标准卷积与可变形卷积的卷积示例。
可变形卷积网络
赵凯月的博客
06-19 3214
1、什么是可变形卷积？ 可变形卷积是指卷积核在每一个元素上额外增加了一个参数方向参数，这样卷积核就能在训练过程中扩展到很大的范围。 注意：这里有一个非常非常非常容易混淆的点，所谓的deformable，到底deformable在哪？很多人可能以为deformable conv学习的是可变形的kernel，其实不是不是不是！本文并不是对kernel学习offset而是对feature的每个位置学习一个offset。 （a）是传统的标准卷积核，尺寸为3x3（图中绿色的点）； （b）就是我们今天要谈论的可变形卷
45、卷积神经网络架构的最新进展与应用
最新发布
grpc6streamer的博客
10-08 51
本文综述了卷积神经网络（CNN）在计算机视觉领域的最新进展与应用，涵盖图像分类、目标检测和图像分割三大子领域。详细介绍了LeNet-5、AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet等经典图像分类架构，以及R-CNN系列、YOLO、Mask R-CNN等目标检测模型，和FCN、U-Net、DeepLab、PANet等图像分割方法。文章还分析了各架构的优势与挑战，并展望了CNN在模型轻量化、多模态融合、强化学习结合及可解释性方面的未来发展趋势，全面展示了CNN的技术演进与广阔
论文及代码详解——可变形卷积（DCNv1）
zyw2002的博客
08-17 1万+
这四对坐标每个坐标都对应U中的一个像素值, 而我们需要得到(a,b)的像素值, 这里采用双线性差值的方式计算, 因为一方面得到的像素准确, 另一方面可以进行反向传播。DCN的卷积过程和普通卷积一样，如上图所示，假设有个2x2的kernel, 它也是以一个2x2的滑窗的形式（绿色的框）在原始图片上从左到右，从上到下进行滑动。采样点的像素值和上文中提到的可变形卷积中的一样，也是通过双线性插值得到的。它的每roi计算成本可以忽略不计。我们实验了不同数量的这类层，发现3是不同任务的一个很好的权衡，如表1所示。
深度学习方法（十三）：卷积神经网络结构变化——可变形卷积网络deformable convolutional networks...
weixin_30781775的博客
04-19 1344
上一篇我们介绍了：深度学习方法（十二）：卷积神经网络结构变化——Spatial Transformer Networks，STN创造性地在CNN结构中装入了一个可学习的仿射变换，目的是增加CNN的旋转、平移、缩放、剪裁性。为什么要做这个很奇怪的结构呢？原因还是因为CNN不够鲁棒，比如把一张图片颠倒一下，可能就不认识了（这里mark一下，提高CNN的泛化能力，值得继续花很大力气，S...
可变形卷积（DCN，Deformable Convolution Network）
热门推荐
jiangqixing0728的博客
08-10 5万+
ICCV 2017的一篇文章。可变形卷积（DCN）的原理和实现。在目标检测领域应用广泛，在项目、课程设计、毕业设计、比赛中对许多数据集和许多目标检测算法（只要含卷积操作），都能有不错的提升，泛化性很强。
基于深度学习的目标检测算法综述
SIGAI_优快云的博客
06-19 3万+
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 导言 目标检测的任务是找出图像中所有感兴趣的目标（物体），确定它们的位置和大小，是机器视觉领域的核 心问题之一。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，目标检测 一直是机器视觉领...
计算机视觉-----图像分割综述
Avery123123的博客
06-15 5382
计算机视觉-----图像分割综述计算机视觉-----图像分割综述传统分割方法1.基于阈值的分割方法2.基于区域的图像分割方法3.基于边缘检测的分割方法结合特定工具的图像分割算法基于小波分析和小波变换的图像分割方法基于遗传算法的图像分割基于主动轮廓模型的分割方法基于深度学习的分割1.基于特征编码（feature encoder based）VGGNetResNet2.基于区域选择（regional proposal based）R-CNNFast R-CNNFaster R-CNNMask R-CNNMask
人脸检测算法综述
SIGAI_优快云的博客
06-20 1万+
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 导言 人脸检测是目前所有目标检测子方向中被研究的最充分的问题之一，它在安防监控，人证比对，人机交 互，社交和娱乐等方面有很强的应用价值，也是整个人脸识别算法的第一步。在本文中，SIGAI将和大 家一起回顾人脸检测算...
Deform-CNN:使用pytorch的可变形卷积网络用于心电图诊断
04-06
变形神经网络 使用pytorch进行心电图诊断的可变形卷积网络。 这是文章“基于具有良好抗噪能力的可变形卷积神经网络的端到端12导心电图诊断系统”的源代码 入门 训练环境 NVIDIA驱动程序版本418.67 CUDA版本10.1 Python版本3.6.8 Pytorch版本1.4.0 + cu101 安装所需的软件包 从该存储库的根目录运行 pip install -r requirements.txt 下载数据集 我们使用CPSC-2018作为数据集。 您可以从下载数据重新处理数据并以.npy格式保存数据。 然后将数据放入文件夹./dataset/DataSet250HzRepeatFill并将标签放入文件夹./dataset 。 有关更多详细信息，请参考load_dataset.py 。 注意：在我们的实验中，我们删除了总长度超过30秒的数据，将采样频率降低到250 Hz
可变形卷积（DCN）
qq_43471945的博客
02-16 2912
可变形卷积： Deformable Convolutional Networks原文摘要：卷积神经网络（CNNs）由于其构建模块中存在固定的几何结构，因此固有地局限于模型几何转换。在本工作中，我们引入了两个新的模块来增强cnn的转换建模能力，即可变形卷积和可变形感兴趣区域池。两者都是基于用额外的偏移量来增加模块中的空间采样位置，并学习来自目标任务的偏移量，而无需额外的监督。新的模块可以很容易地取代现有cnn中的普通对应模块，并且可以很容易地通过标准的反向传播进行端到端训练，从而产生可变形的卷积网络。
卷积神经网络-可变形卷积
weixin_38498942的博客
06-24 1893
一、简介 如何有效地对几何图形的变化进行建模一直是一个挑战，大体上有两种处理方法：（1）构建一个包含各种变化的数据集，其本质是数据扩增（2）使用具有形变不变性的特征和算法（如SIFT）。这两种方法都有很大的局限性：几何形变被假设是固定和已知的，这是一种先验信息，用这些已知的形变去处理未知的形变是不合理的；手工设计的特征或算法无法应对过度复杂的形变，即使该形变是已知的。近年来，CNNs在计算机视觉领域取得了飞速的发展和进步，在图像分类，语义分割，目标检测领域都有很好的应用。然后鉴于CNNs固定的几何结构，导致
可变形卷积神经网络 | Deformable Network
Wenrui Xie的博客
04-12 2367
论文标题：Deformable Convolutional Networks 论文链接：https://arxiv.org/abs/1703.06211 所要解决的问题 视觉识别的关键挑战是如何在对象比例、姿势等形变问题上适应几何变化或对几何转换建模。一般情况下有以下两种方法： 1、通常是对数据集进行仿射变换。如角度变化、剪切等以此来扩充数据集，增加算法的鲁棒性。 ...
可变形的卷积网络
yeler082的博客
10-28 3万+
原文链接：Deformable Convolutional Networks 代码链接：https://github.com/msracver/Deformable-ConvNets 一、首先看看文章的摘要 由于构造卷积神经网络 (CNN) 所用的模块中几何结构是固定的，其几何变换建模的能力本质上是有限的。在我们的工作中，我们引入了两种新的模块来提高卷积神经网络 (CNN) 对变换...
DCNv1：Deformable Convolutional Networks——可变形卷积网络
Together_CZ的博客
01-14 2885
DCNv1：Deformable Convolutional Networks——可变形卷积网络
深度学习算法中的可变形卷积神经网络（Deformable Convolutional Networks）
牛肉胡辣汤
09-26 885
深度学习算法中的可变形卷积神经网络（Deformable Convolutional Networks）
可变形卷积网络：Deformable Convolutional Networks
huangyiping12345的博客
04-29 3859
参考文献：https://arxiv.org/abs/1703.06211 代码实现：https://github.com/msracver/Deformable-ConvNets 包括理解！ Deformable Convolutional Networks 摘要 卷积神经网络（CNNs）由于其构建模块中固定的几何结构，其固有的局限性在于模型的几何变换。在这项工作中，我们引入了两个新的模块来增强...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值