小卷积核代替大卷积核原理

小卷积核如何替代大卷积核

最新推荐文章于 2024-11-02 11:11:23 发布

原创

最新推荐文章于 2024-11-02 11:11:23 发布 · 2.2k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#卷积

本文探讨了如何使用多个3*3的小卷积核代替更大的5*5和7*7卷积核，以减少计算量并保持相同的感受野。通过具体的计算实例，展示了这种替换方式在卷积层特征图尺寸计算中的应用，并指出该方法能增加非线性特性。

卷积层特征图尺寸计算公式

$M=\frac{N-F+2P}{S}$

设置图片尺寸为64*64 pixel

两个33卷积核代替55卷积核

5*5卷积的特征图尺寸：

kernel=5*5，stride=1，padding=0

M=（64-5+2*0）/1+1=60

参数量：5*5*input_channels*output_channels

计算量：5*5*input_channels*output_channels*64*64

2个3*3卷积的特征图尺寸（这里指进行两次3*3卷积）;

kernel=3*3，stride=1，padding=0

第一次：（64-3+2*0）/1+1=62

第二次：（62-3+2*0）/1+1=60

参数量：2*3*3*input_channels*output_channels

计算量：2*3*3*input_channels*output_channels*64*64

三个33卷积核代替77卷积核

7*7卷积的特征图尺寸：

kernel=7*7，stride=1，padding=0

M=（64-7+2*0）/1+1=58

参数量：7*7*input_channels*output_channels

计算量：7*7*input_channels*output_channels*64*64

3个3*3卷积的特征图尺寸（这里指进行三次3*3卷积）;

kernel=3*3，stride=1，paddi

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

perfect_csdn1

关注关注

2
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Block总结】多尺度并行大卷积核和并行注意力

AI浩

01-08

657

论文链接：https://arxiv.org/pdf/2305.17654。

多小卷积核代替大卷积核——VGGNet

稚与的博客

05-23

5557

VGGNet——Visual Geometry Group 文章目录VGGNet——Visual Geometry Group简介主要贡献基本原理预处理数据增强参数初始化网络结构整体架构前五层卷积层后三层全连接层模型评估简介 2014年，牛津大学计算机视觉组和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络：VGGNet，并取得了ILSVRC2014比赛分类项目的第二名（第一名是GoogLeNet，也是同年提出的）和定位项目的第一名。 VGGNet可以看成是加深版的AlexNet

参与评论您还未登录，请先登录后发表或查看评论

边缘检测、Padding、stride、三维卷积、多个过滤器

我的博客

01-26

1248

边缘检测、Padding、stride、三维卷积、多个过滤器

3*3卷积核优势

weixin_56405212的博客

04-27

2395

https://www.bilibili.com/video/BV1LT4y1v7CM?p=32 32P 最外面的那个3是指三次的卷积操作才走到最后，也是指3个不同的3*3卷积核

为什么使用多个小卷积代替大卷积操作？？

it-hao的博客

05-06

3968

作用： 3×3是最小的能够捕获像素八邻域信息的尺寸。两个3×3的堆叠卷基层的有限感受野是5×5；三个3×3的堆叠卷基层的感受野是7×7，故可以通过小尺寸卷积层的堆叠替代大尺寸卷积层，并且感受野大小不变。所以可以把三个3×3的filter看成是一个7×7 filter的分解中间层有非线性的分解, 并且起到隐式正则化的作用。多个3×3的卷基层比一个大尺寸filter卷基层有更多的非线性...

在卷积神经网络（CNN）中为什么可以使用多个较小的卷积核替代一个较大的卷积核，以达到相同的感受野

二分掌柜的

07-02

2783

flyfish

5x5卷积核可以用2个3x3卷积核替代的原因

bemy1008的博客

11-27

1万+

在当今深度网络的发展趋势中，提升网络的宽度和深度已经是常规操作，能够解决过拟合的同时带来了大量参数的问题，所以减少计算参数也是必要的。在很多网络中，都使用了3个3x3卷积核来代替7x7卷积核，使用了2个3x3卷积核来代替5x5卷积核，这样做的主要目的是：（1）保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果；（2）减少计算参数量。以下简单地说明一下小卷积(3*3)对...

【数字图像处理】常用图像卷积核类型

十二月的猫

11-02

3135

卷积是一种数学操作。目的是为了处理信号，其特点是：翻转+乘积相加。【深度学习基础】深入理解卷积与卷积核-优快云博客在深度学习中，同样存在卷积操作。深度学习中的卷积仅仅是乘积相加，不包含翻转。卷积核就是执行卷积的实体。特征提取、降维、图像变化。

卷积运算与卷积核DLC

就随便写写....

11-19

2050

卷积核的详解

奇数卷积核VS偶数卷积核

01-06

在跑一份代码时，效果一直提升不上去，偶然将3 * 3的卷积核换成了4 * 4的卷积核，效果奇佳，于是搜索了一下卷积核的大小对网络性能的影响，总结如下： 1.大卷积核和小卷积核 显然，大卷积核的感受野更大，自然提取特征的性能更好，一个5 * 5的卷积核可以由两个3 * 3的卷积核替换，但是带来的代价是：大卷积核的计算速度更慢，参数量更多。因此，通常使用小卷积核，小卷积核所需要的参数量更少，且产生了更多的特征 2.奇数卷积核和偶数卷积核 “Convolution with even-sized kernels and symmetric padding” 这篇论文，解释了偶数卷积核对网络的影

2个3*3卷积核对一个5*5卷积核的替代性分析（或3个3*3卷积核对一个7*7卷积核的替代性分析）

kim_mechane的博客

09-10

664

深度学习小笔记03－，3*3的卷积核为什么可以代替5*5的卷积核和7*7的卷积核以及参数怎么算

Quasimo

06-12

6665

先贴两个博客：为什么一个55的卷积核可以由两个33的卷积核替代？（这个不要重要） 5x5卷积核可以用2个3x3卷积核替代的原因（这个不重要）看图解决所有这张图被用烂了。在一个卷积层，因为权值共享，所以一个33只有9个w和一个b这些权值。当stride=1时，55的矩阵被卷积成33，然后再经过一个33后就可以变成11，也就是说，经过两个33的卷积核后，一个值对应的数据源实际上是一个55的覆盖...

为什么要使用3×3卷积？& 1*1卷积的作用是什么？& 对ResNet结构的一些理解

热门推荐

weixin_45928096的博客

01-14

2万+

为什么要使用3×3卷积？& 1*1卷积的作用是什么？& 对ResNet结构的一些理解在感受野相同的情况下，三个3×3卷积比一个7×7卷积所需参数要少很多，这无疑减少了模型的复杂度，加快了训练速度。神经网络将像素空间的信息转化为语义信息。卷积核和池化使得图像长宽方向的信息逐渐减小，而卷积通道数逐层增加通道信息逐渐增加。 1×1的卷积可以用来降维和升维（匹配维度），在ResidualBlock中减少模型参数数量。

图像的卷积操作，分别是3*3卷积核和5*5卷积核对图片进行操作

G17864396525的博客

03-14

3341

图像的卷积操作，分别是33卷积核和55卷积核对图片进行操作(图像卷积) import cv2 import numpy as np from scipy import ndimage kernel_3x3=np.array([[-1,-1,-1], [-1,8,-1], [-1,-1,-1]]) kernel_5x5=np.array([[-1,-1,-1,-1,-1], [-1,1,2,1,-1], [-1,2,4,2,-1], [-1,1,2,1,-1], [-1,-1,-1,-1,-1]]) img=

两个3*3的卷积核替代5*5(三个3*3卷积核替代7*7)分析

xiao_lxl的专栏

09-21

1万+

文章目录为什么一个5x5的卷积核可以用两个3x3的卷积核来替代一个5*5卷积两个3*3卷积核为什么一个7x7的卷积核可以用三个个3x3的卷积核来替代一个7*7卷积三个3*3卷积核优点总结为什么一个5x5的卷积核可以用两个3x3的卷积核来替代知道了一个理论，两个3x3的卷积核替代5x5的卷积核，可以减少计算量，且最终的计算结果是一样的，但是为什么呢？我们假设图片是32*32的一个5*5卷积 ...

预备知识学习

qq_46221910的博客

12-13

292

可解释机器学习

卷积神经网络技巧总结（非常棒）

csdnforyou的博客

07-20

1657

原文地址：https://www.cnblogs.com/databingo/p/9503098.html 前提名词 feature map: 特征图, 卷积核的输入和输出都被称为feature map 卷积核技巧 0x01 多个小卷积核代替大卷积核 之前的观念是越大的卷积核感受野(receptive field)越大, 看到的信息越多, 提取的特征越好, 但存在问题: 参数剧增, 计算...

深度学习笔记-GCN+卷积方式汇总

tuanzi2809的博客

12-30

2873

卷积方式汇总 convolution summary GCN论文总结 Global Convolution Network

卷积方式汇总

star_xxzeng的博客

08-23

1348

卷积方式汇总一、为什么要用小卷积核替代大卷积核？二、能否让固定大小的卷积核看到更大范围的区域？三、卷积核一定是正方形吗？四、卷积只能在同一组进行吗？五、分组卷积能否对通道进行随机分组？六、每层卷积只能用一种尺寸的卷积核吗？七、通道间的特征都是平等的吗？八、卷积核形状一定是矩形吗？总所周知，卷积神经网络中的卷积方式有很多，除了标准卷积和转置卷积，还有空洞卷积、分组卷积、深度可分离卷积、非对称卷积、可变形卷积等等。那么，本文主要是以提出问题的方式来对卷积方式进行汇总，而关于所提到的卷积方式的定义及其过程所提

换位置卷积核

最新发布

11-15

换位置卷积核在不同场景下有不同的概念，结合参考信息，主要涉及到卷积核翻转和可变卷积核位置的情况。 ### 卷积核翻转原理在二维卷积的计算中，需要先将卷积核进行翻转180°，再进行卷积运算。而在实际实现时，常用相关性来代替卷积，相关性与卷积的区别在于，相互关在计算之前没有进行180°翻转卷积核，因此相关性也被称为不翻转卷积，甚至常和卷积混为一谈[^1]。 ### 可变卷积核位置原理可变卷积（如DCN 1）本质上，卷积核还是按照传统CNN一样遍历。但当遍历到某个位置后，由于偏量的存在，实际参与计算的是另外位置和卷积核参数的计算结果。例如，卷积核遍历到绿色位置，由于偏量使得真正参与计算的是蓝色的点[^3]。 ### 应用 - **图像处理**：卷积核规定了周围的像素点是如何对当前像素点产生影响的，不同的卷积核参数可以实现不同的图像处理效果，如边缘检测、模糊处理等。通过改变卷积核的位置或参数，可以对图像的不同区域进行有针对性的处理[^2]。 - **卷积神经网络**：可变卷积在卷积神经网络中应用，能够让网络更灵活地适应不同形状和尺度的目标，提升模型对目标的检测和识别能力。 ### 相关技术 - **传统卷积计算**：遵循卷积核翻转后进行卷积运算的规则，根据输入和卷积核大小，通过公式（n - f + 1）*（n - f + 1）计算输入到输出的对应关系，其中n为输入，f为卷积核大小。并且为了让卷积核的核心对应原图的点并避免丢失边沿信息，卷积核通常取奇数[^1][^4]。 - **可变卷积技术**：在传统卷积遍历基础上，引入偏量机制，改变卷积核实际参与计算的位置，增强模型的适应性和灵活性。 ```python # 简单的二维卷积计算示例（未考虑卷积核翻转） import numpy as np def convolution(input_matrix, kernel): input_height, input_width = input_matrix.shape kernel_height, kernel_width = kernel.shape output_height = input_height - kernel_height + 1 output_width = input_width - kernel_width + 1 output = np.zeros((output_height, output_width)) for i in range(output_height): for j in range(output_width): output[i, j] = np.sum(input_matrix[i:i+kernel_height, j:j+kernel_width] * kernel) return output # 示例输入 input_matrix = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) kernel = np.array([[1, 0], [0, 1]]) result = convolution(input_matrix, kernel) print(result) ```

小卷积核代替大卷积核原理

卷积层特征图尺寸计算公式

两个3*3卷积核代替5*5卷积核

三个3*3卷积核代替7*7卷积核

两个33卷积核代替55卷积核

三个33卷积核代替77卷积核