多尺度竞争卷积

最新推荐文章于 2024-11-15 19:10:15 发布
原创 最新推荐文章于 2024-11-15 19:10:15 发布 · 7.7k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了《Competitive Multi-scale Convolution》中的模型设计，重点讨论了Maxout激活函数，通过pad=K/2、stride=1的卷积保持不同尺度输出的一致性。作者构建的网络结构包含多个子网络，以解决复杂数据集问题。Maxout的使用以及与GoogleNet Inception结构的比较揭示了多尺度卷积如何提升网络能力，且通过类似Dropout的效果防止过拟合。
此次所讲内容来自《Competitive Multi-scale Convolution》, 时间节点2015.12

1-模型

先来看看作者最开始设计的模型：

这里写图片描述

这里着重说明一下Maxout：从r1、r2、r3、r4中选择最大的响应作为输出。由于K*K大小的卷积操作中都采取了pad=K/2、stride=1的操作，因此r1、r2、r3、r4的大小是一致的。
增加了Max pooling,最终得到了下图的网络基本结构，

这里写图片描述

然后，作者又与GoogleNet的Inception结构进行了对比

这里写图片描述

2-模型解读

这里就简单说一下作者这么干的依据。（ps.深度学习论文中的大部分依据感觉都是在牵强附会，缺乏有
最低0.47元/天 解锁文章
多尺度动态图卷积神经网络----Multi-scale Dynamic Graph Convolutional Network for Hyperspectral Image Classificati
你这个代码我看不懂的博客
04-06 1万+
一、摘要 卷积神经网络（CNN）在表示高光谱图像和实现高光谱图像分类方面表现出令人印象深刻的能力。然而，传统的CNN模型只能对固定大小和权重的规则正方形图像区域进行卷积，因此不能普遍适用于具有不同对象分布和几何外观的不同局部区域。因此，它们的分类性能仍有待提高，尤其是在类边界方面。为了缓解这一缺点，我们考虑采用最近提出的图卷积网络（GCN）进行高光谱图像分类，因为它可以对任意结构的非欧几里德数据进行卷积，并且适用于由图拓扑信息表示的不规则图像区域。与常用的GCN模型工作在固定图上不同，我们使图能够随着图卷积
【arXiv 2025】多尺度线性注意力登场，CNN-Transformer混合架构实现医学分割新SOTA
最新发布
2501_92747663的博客
09-29 696
一篇发表于2025年的论文《MSLAU-Net: A Hybird CNN-Transformer Network for Medical Image Segmentation》提出了一种新颖的混合CNN-Transformer架构——MSLAU-Net。该网络旨在结合卷积神经网络（CNN）强大的局部特征提取能力与Transformer卓越的全局依赖建模能力，同时通过创新的注意力机制解决计算效率问题，从而在医学图像分割任务中实现高精度与高效率的平衡。
多尺度卷积
我の博客
07-20 6448
比如说，输出y4可以是x4经过一次卷积，也可以是x3经过2次卷积，还可以是x2经过三次卷积。如下图，黄色部分表示高频特征图，蓝色部分表示低频特征图。作者还提到，不仅在普通的卷积中可以改造成八度卷积的方法，对于分组和可分离卷积同样也是适用的。而且八度卷积是一个可插拔的整体操作，基本上只需要在特定位置上改成相应的八度卷积即可，卷积参数基本上保持不变，只是增加了一个低频占比的参数，以及在输入输出的特征图上分成了高频和低频部分。针对冗余问题，作者降低低频特征图的分辨率，即降低低频特征图的空间维度。
多尺度卷积（MSC）
Javadayuge的博客
03-12 5736
多尺度卷积层就是用不同大小的卷积核对某一时刻所得到的特征图进行卷积操作，得到新的大小不同的特征图，之后针对不同大小的特征图上采样到输入特征图的大小。也就是说，多尺度卷积层不会改变原有特征图的大小，只是通过不同卷积核的卷积操作，丰富了图像的特征，从全局的视角对图像中的感兴趣的特征信息进行编码解码，进而提高图像的分割性能。原文链接：https://blog.youkuaiyun.com/weixin_48320163/article/details/131829049。
深度学习之多尺度卷积的发展总结
热门推荐
weixin_44474718的博客
06-26 1万+
????（2019.04-arXiv）ScaleNet:Data-Driven Neuron Allocation for Scale Aggregation Networks【论文原文】 ???? 原理： 文本语义分割的mix； 分组采用不同的卷积核大小进行计算； 两种分组方法：等分、指数分割 ????（2019.07-arXiv）MixConv:MixConv: Mixed Depthwise Convolutional Kernels【论文原文】【代码】 ???? 原理： 深度可分离卷积的mix
多尺度卷积网络（Muti-CNN-FNN Network）寿命预测研究
weixin_49890890的博客
08-03 2884
并行卷积神经网络（Muti-CNN-FNN Network）模型的主体结构前段部分由三个并行训练的CNN组成，后端部分由一系列前馈神经网络（FNN）组成。下面简称为MCFN。MCFN模型的并向CNN段实现不同传感器在数据层的信号融合，得到CNN提取的特征信息图，通过Concatenate函数指令将多传感器信号的特征图进行融合；MCFN采用前馈神经网络（FNN）记忆预测对象的退化信息，同时采用“Relu”函数进行非线性操作，实现寿命预测。
Python-MSDNet多尺度密集卷积网络的有效预测
08-11
MSDNet 多尺度密集卷积网络的有效预测
多尺度卷积一出手，高分文章立马有！这样新颖的idea真不多见！直接一个王炸！
学姐带你玩AI的博客
11-15 885
在处理多尺度目标的复杂任务时，我们可以考虑多尺度卷积是一种在CV领域广泛使用的技术。相比传统卷积，它可以通过采用不同大小的卷积核，捕捉到图像中从局部细节到全局结构的不同尺度特征，从而在方面遥遥领先。因此这种技术也是如今的之一，在目标检测、图像分割和图像识别等任务中效果都特别好，相关研究成果颇丰。比如一种基于多尺度卷积的电力变压器故障诊断方法，在强噪声背景下，准确度达到了99.74%！为方便论文er们理解和运用，我今天分享，原文和开源代码都有。论文可参考创新点做了简单提炼，具体工作细节可阅读原文。
【多尺度混合卷积】Transformer模型ConvMAE开源：进一步挖掘和提升 MAE 的性能
limingmin2020的博客
05-31 2834
多尺度的金字塔式架构 + 局部的归纳偏置的模型，能不能经过 MAE 的训练方式之后，进一步挖掘和提升 MAE 的性能？本文就是探索这个问题。ConvMAE 简而言之就是：多尺度的金字塔式架构 + 局部的归纳偏置的模型，使用 MAE 的 Self-supervised Learning 的训练方式。
卷积变种（常规卷积、空洞卷积、多尺度卷积、分组卷积、可分离卷积、DCN形变卷积）
认真努力，做一只会飞的毛毛虫。
11-01 8354
卷积的目的： 浅层：从输入图像中提取不同方面的特征，比如水平，垂直 ，边缘或对角线。 深层：通过浅层特征的组合，提取更加抽象的高层语义特征或全局特征。 卷积变化的目的： 提高模型精度：对精度要求比较严格的场景。 提高推理速度： 对实时性要求比较严格的场景。 常规卷积 计算方式：卷积核在输入特征图上滑动并计算内积 超参数：kernel size：卷积核尺寸大小；padding：输入填充的圈数；stride：卷积核滑动步长。 输出尺寸计算公式： 空洞卷积 目的：常规卷积感受野太..
TPAMI 2024 | DeepM2M2CDL：深度多尺度多模态卷积字典学习网络
小白学视觉
09-23 878
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达题目：DeepM2M2CDL: Deep Multi-Scale Multi-Modal Convolutional Dictionary Learning NetworkDeepM2M2CDL：深度多尺度多模态卷积字典学习网络作者：Xin Deng; Jingyi Xu; Fangyuan Gao; Xiancheng Sun...
探索深度学习的广阔视域：多尺度上下文聚合与扩张卷积
gitblog_00058的博客
05-17 552
探索深度学习的广阔视域：多尺度上下文聚合与扩张卷积 项目简介 在深度学习领域中，多尺度上下文信息的捕捉是图像识别和分割任务的关键。Multi-Scale Context Aggregation by Dilated Convolutions 是一个基于Caffe的开源项目，它探讨了如何通过扩张卷积（Dilated Convolutions）来实现这一目标。这个项目不仅包含了网络定义，还有预训练模型...
多尺度卷积+注意力机制=准确率接近100%！
2401_88556812的博客
11-15 3096
通过多尺度卷积，模型能够捕获不同尺度的特征，而注意力机制则帮助模型聚焦于更重要的特征，从而提高模型的识别能力和准确性。3D-CNN模型能够自动从原始数据中提取信息特征，而无需大量的预处理，这在传统的浅层神经网络中难以实现。在编码器和解码器模块中分别引入混合注意力机制，以推断输入中间特征图中空间点的重要性和通道间关系特征。通过多分支卷积和池化操作，分别提取每种模态的浅层和深层特征，增强了模型对不同层次特征的捕捉能力。通过在深度可分离卷积层中使用多尺度卷积核，扩大了卷积感受野，提高了特征信息的丰富度。
多尺度卷积网络在交通图标和行人检测中的应用
u010529217的专栏
08-25 3450
文章：Traffic Signs and Pedestrians Vision with Multi-Scale Convolutional Networks（Snowbird 11） 作者：Pierre Sermanet , Koray Kavukcuoglu and Yann LeCun 卷积神经网络
【论文解读】——基于多尺度卷积网络的遥感目标检测研究（姚群力，胡显，雷宏）
laozaoxiaowanzi的博客
05-07 3192
【论文解读】——基于多尺度卷积网络的遥感目标检测研究（姚群力，胡显，雷宏） 该文针对现有遥感图像目标检测算法对于复杂场景下多尺度目标检测精度较低、泛化能力差的问题，提出了一种多尺度卷积神经网络遥感目标检测框架———MSCNN。 1.引言 遥感目标自动检测技术不仅是一种实现遥感目标自动分类和定位的智能化数据分析方法，还是遥感图像解译领域的重要研究方向之一。 传统的遥感图像目标检测方法是根据人工经验设...
使用常见的多尺度卷积架构预测深度，曲面法线和语义标签（论文2015）
desian
11-11 1027
Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture 论文下载：https://arxiv.org/pdf/1411.4734.pdf 声明：学习过程 作者：David Eigen、 Rob Fergus 摘要： 在本文中，我们单一的多尺度...
深度探索：机器学习中的混合尺度卷积算法原理及其应用
qq_51320133的博客
04-24 1440
混合尺度卷积作为深度学习中一种有效的特征提取手段，通过融合不同尺度的卷积核，显著提升了模型在处理复杂视觉任务时的表征能力和鲁棒性。尽管存在计算复杂度增加、设计与调参难度增大等挑战，但随着硬件加速技术的进步以及更先进的网络架构设计，这些问题有望得到缓解。未来研究可进一步探索更为高效的多尺度特征融合机制、自适应尺度选择策略以及与其它前沿技术（如注意力机制、动态卷积等）的深度融合，推动混合尺度卷积在更多视觉任务中的应用与创新。
CNN 中千奇百怪的卷积方式大汇总
weixin_34228387的博客
10-24 604
这篇总结很专业，并且很好的回答了评论中的疑问： Depthwise Separable Convolution 就是卷积加 group 吧？ 这篇文章里是这么说的： 要注意的是，Group conv 是一种 channel 分组的方式，Depthwise +Pointwise 是卷积的方式，只是 ShuffleNet 里面把两者应用起来了。因此 Gro...
多尺度CNN结合散射模型的单幅图像去雾新法
本文主要探讨了"改进多尺度卷积神经网络的单幅图像去雾方法"这一主题，针对现有的图像去雾技术存在的问题，如天空区域的光晕和色彩失真，作者提出了一种创新的方法。研究者们关注的是在雾天环境下，由于大气中的浑浊...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值