深度学习CNN网络--卷积层、池化层、全连接层详解与其参数量计算

卷积神经网络之卷积层理解(持续更新) 卷积神经网络中卷积层的理解与代码实现。 阅读详情
AI摘要

本文详细介绍了卷积层、池化层和全连接层在卷积神经网络中的作用,包括参数计算方法、池化操作的降维和特征提取,以及全连接层在模型复杂性和非线性表达上的影响。还探讨了模型学习能力和过拟合的判断方法。


1.卷积层

我们以灰度图像为例进行讲解:让一个权重矩阵即卷积核(kernel)逐步在二维输入数据上“扫描”。卷积核“滑动”的同时,计算权重矩阵和扫描所得的数据矩阵的乘积,然后把结果汇总成一个输出像素。使用3x3卷积核,在未使用padding的情况下,卷积之后的图像尺寸为(width-2)*(height-2)。
在这里插入图片描述
以下动图展示了in_channels=3、out_channels =2,kernel_size=3、stride=2、padding=1的卷积层运算过程。
在这里插入图片描述
【卷积的计算公式】

输入图片的尺寸:一般用nn表示输入的image大小。
卷积核的大小:一般用f
f表示卷积核的大小。
填充(Padding):一般用p来表示填充大小。
步长(Stride):一般用s来表示步长大小。
输出图片的尺寸:一般用o来表示。

如果已知 n,f,p,s,可以求得o
计算公式如下:
o = ⌊ n + 2 p − f s ⌋ + 1 o=\lfloor\frac{n+2p-f}{s} \quad \rfloor+1 o=⌊sn+2p−f​⌋+1
其中" ⌊ ⌋ \lfloor \rfloor ⌊⌋"是向下取整符号,用于结果不是整数时进行向下取整。

输出图片大小为:o×o
步长为2,卷积核为3*3,p=0的卷积情况如下:
在这里插入图片描述

当卷积函数中padding='same’时,会动态调整 p 值,确保 o=n ,即保证输入与输出一致。例如:输入是 28281 输出也为 28281 。
步长为1,卷积核为3*3,padding='same’的卷积情况如下:

在这里插入图片描述

🔍实例:
7∗7 的 input,3∗3 的 kernel,无填充(padding=0),步长为1,则 o= (7−3)/1 +1也即 output size 为 5∗5
在这里插入图片描述

7∗7 的 input,3∗3 的 kernel,无填充(padding=0),步长为2,则 o= (7−3)​ /2+1也即 output size 为 3∗3

在这里插入图片描述

2.池化层

在图像处理中,由于图像中存在较多冗余信息,可用某一区域子块的统计信息(如最大值或均值等)来刻画该区域中所有像素点呈现的空间分布模式,以替代区域子块中所有像素点取值,这就是卷积神经网络中池化(pooling)操作。
池化层可对提取到的特征信息进行降维,实现下采样,同时保留了特征图中主要信息,一方面使特征图变小,简化网络计算复杂度;另一方面进行特征压缩,提取主要特征,增加平移不变性,减少过拟合风险。但其实池化更多程度上是一种计算性能的一个妥协,强硬地压缩特征的同时也损失了一部分信息。
池化过程在一般卷积过程后。池化(pooling) 的本质,其实就是采样。Pooling 对于输入的 Feature Map,选择某种方式对其进行降维压缩,以加快运算速度。
池化的几种常见方法包括:平均池化 与 最大池化。其中平均池化和最大池化
在这里插入图片描述
● 平均池化: 计算区域子块所包含所有像素点的均值,将均值作为平均池化结果。如 图(a),这里使用大小为 2 × 2 2\times2 2×2的池化窗口,每次移动的步长为2,对池化窗口覆盖区域内的像素取平均值,得到相应的输出特征图的像素值。池化窗口的大小也称为池化大小,用 k h × k w k_h \times k_w kh​×kw​表示。在卷积神经网络中用的比较多的是窗口大小为 2 × 2 2 \times 2 2×2,步长为2的池化。
● 最大池化: 从输入特征图的某个区域子块中选择值最大的像素点作为最大池化结果。如 图(b),对池化窗口覆盖区域内的像素取最大值,得到输出特征图的像素值。当池化窗口在图片上滑动时,会得到整张输出特征图。

采用较多的一种池化过程叫最大池化(Max Pooling),max pooling常用的 s=2,f=2的效果:特征图高度、宽度减半,通道数不变。

当输入数据做出少量平移时,经过池化后的大多数输出还能保持不变,因此,池化对微小的位置变化具有鲁棒性。例如下图
中,输入矩阵向右平移一个像素值,使用最大池化后,结果与平移前依旧能保持不变。

在这里插入图片描述

由于池化之后特征图会变小,如果后面连接的是全连接层,能有效的减小神经元的个数,节省存储空间并提高计算效率。

池化层计算公式:
● Input:(N, C, Hin, Win) or (C, Hin, Win)
● Output:(N, C, Hout, Wout) or (C, Hout, Wout)
在这里插入图片描述
在这里插入图片描述

3.全连接层

全连接层就是将最后一层卷积得到的特征图(矩阵)展开成一维向量,并为分类器提供输入。
在这里插入图片描述
以上图为例输入一个 2828 的灰度图像,经过卷积层输出20个2424 的图像,再经过池化层输出201212的图像,然后通过了一个全连接层用一个12x12x20x100的卷积层去卷积激活函数的输出,最终得到1*100 的向量。 全连接层将学到的特征表示映射到样本的标记空间的作用。就是把特征整合到一起(高度提纯特征),方便交给最后的分类器或者回归。
全连接层中一层的一个神经元就可以看成一个多项式,我们用许多神经元去拟合数据分布,但是只用一层fully connected layer 有时候没法解决非线性问题,而如果有两层或以上fully connected layer就可以很好地解决非线性问题了。

全连接层对模型影响参数有三个:全接解层的总层数(长度)、单个全连接层的神经元数(宽度)、激活函数
激活函数的作用是增加模型的非线性表达能力
如果全连接层宽度不变,增加长度:
优点:神经元个数增加,模型复杂度提升;全连接层数加深,模型非线性表达能力提高。理论上都可以提高模型的学习能力。
如果全连接层长度不变,增加宽度:
优点:神经元个数增加,模型复杂度提升。理论上可以提高模型的学习能力。

长度和宽度增加并不是越多越好
(1)缺点:学习能力太好容易造成过拟合。
(2)缺点:运算时间增加,效率变低。

那么怎么判断模型学习能力如何?

看Training Curve 以及 Validation Curve,在其他条件理想的情况下,如果Training Accuracy 高, Validation Accuracy 低,也就是过拟合 了,可以尝试去减少层数或者参数。如果Training Accuracy 低,说明模型学的不好,可以尝试增加参数或者层数。

4.参数量计算

先搭建一个简单的cnn网络便于讲解参数计算过程

from keras.layers import Conv2D, MaxPooling2D, GlobalAveragePooling2D
from keras.layers import Dropout, Flatten, Dense
from keras.models import Sequential

model = Sequential()
model.add(Conv2D(16,(2,2),input_shape=(224,224,3)))
model.add(MaxPooling2D(pool_size=(2,2)))
model.add(Dense(133))
model.summary()

运行结果

Model: "sequential"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 conv2d (Conv2D)             (None, 223, 223, 16)      208       
                                                                 
 max_pooling2d (MaxPooling2D  (None, 111, 111, 16)     0         
 )                                                               
                                                                 
 dense (Dense)               (None, 111, 111, 133)     2261      
                                                                 
=================================================================
Total params: 2,469
Trainable params: 2,469
Non-trainable params: 0
_________________________________________________________________

卷积层参数
卷积核大小 k × k k \times k k×k,图像通道数 c c c,卷积核个数 n n n,以公式 w e i g h t × x + b i a s weight \times x + bias weight×x+bias计算总参数 m m m,每个卷积核都有 k × k × c k \times k \times c k×k×c个 w e i g h t weight weight+1个 b i a s bias bias,因此

m = k × k × c × n + n m = k \times k \times c \times n + n m=k×k×c×n+n

一个卷积核的大小为 2 × 2 2\times2 2×2,3通道,则一个卷积核的参数为 2 × 2 × 3 2\times2\times3 2×2×3个,共3个卷积核,总参数为 16 × 12 + 16 = 208 16\times12+16=208 16×12+16=208个

池化层参数
无
全连接层参数
从第一层到第二层,只是图片大小发生了变化,深度没有发生变化,Dense对应的神经元个数 j j j个,图像深度还是卷积层的 n n n个,那么还是根据公式: w e i g h t × x + b i a s weight \times x + bias weight×x+bias,计算总参数 l l l

l = j × n + j l= j \times n + j l=j×n+j

Dense对应的神经元个数133个,图像深度还是卷积层的16个,总参数 133 × 16 + 133 = 2261 133 \times 16 + 133 =2 261 133×16+133=2261个

卷积神经网络CNN——卷积层、池化层、全连接层 原文链接:https://blog.youkuaiyun.com/qq_59702185/article/details/143744365学习目标了解卷积神经网络的构成知道卷积的原理以及计算公式了解池化的作用以及计算过程我们之前学习了全连接的神经网络,如下图:利用全连接神经网络对图像进行处理存在以下两个问题:需要处理的数据量太大了,比如说我么你的图片是100*100,通道数为3,那么参数量就是3,000,000,处理这么大的数据是非常耗资源的。 阅读详情

相关推荐

卷积神经网络与caffe的卷积层、池化层

卷积神经网络 卷积神经网络(CNN)是深度学习技术中极具代表的网络结构之一,在图像处理领域取得了很大的成功。在国际标准ImageNet数据集上,许多成功的模型都是基于CNN的。CNN相较于传统的图像处理算法的优点之一在于:可以直接输入原始图像,避免了对图像复杂的前期预处理过程(如:提取特征等)。传统的神经网络采用全连接的方式,即:输入层到隐藏层的神经元都是全部连接的,这样做将导致参数量巨

竹馨shine的专栏 3万+

卷积层

深度学习基础理论-CNN篇卷积层卷积层(convolution layer)是卷积神经网络中的基础操作,甚至在网络最后起分类作用的全连接层在工程实现时也是由卷积操作替...

PaddlePaddle 1万+

神经网络基础部件-卷积层详解

本文深度讲解了卷积计算的原理,并详细介绍了构成所有卷积网络主干的基本元素,包括卷积层本身、填充(padding)和步幅 (stride)的基本细节、用于在相邻区域汇聚信息的汇聚层(pooling),最后给出卷积层和汇聚层的代码示例和CNN框架结构图。

专注计算机视觉算法训练,算法优化部署以及SDK开发的知识分享。 2421

【卷积神经网络】卷积层,池化层,全连接层

转于:《入门PyTorch》 卷积层是卷积神经网络的核心, 大多数计算都是在卷积层中进行的。 1 卷积层 1.1 概述 首先介绍卷积神经网络的参数。 这些参数是由一些可学习的滤波器集合构成的, 每个滤波器在空间上( 宽度和高度) 都比较小, 但是深度和输入数据的深度保持一致。 举例来说, 卷积神经网络的第一层卷积一个典型的滤波器的尺寸可以是5×5×3( 宽和高都是5) , 或者是3×3...

idwtwt的专栏 5万+

卷积神经网络(CNN)从 Sobel 核到 ConvNeXt 的深度之旅

本文深入解析了卷积神经网络(CNN)的核心原理与数学本质。从1998年Yann LeCun提出CNN解决图像识别问题开始,逐步揭示CNN超越传统MLP的关键:局部连接、权重共享和平移不变性三大归纳偏置。通过7张交互式动图,详细演示了2D卷积的数学运算过程,包括多通道卷积、输出尺寸计算等核心概念。文章对比了CNN与全连接网络的参数量差异(1700参数vs1.5亿参数),解释了CNN在计算机视觉革命中的决定性作用。最后系统介绍了CNN的关键构件:Stride、Padding、Pooling和BatchNorm,

hello.reader 9409

深度学习·理论篇(2023版)·第011篇卷积神经网络计算公式与参数量频域计算:卷积计算详解+卷积层全连接层池化层参数量计算+计算频域卷积

卷积神经网络(CNN)由输入层、卷积层、激活函数、池化层、全连接层组成,即INPUT(输入层)-CONV(卷积层)-RELU(激活函数)-POOL(池化层)-FC(全连接层)

小李的研究生学习日记 1107

深度学习笔记(一):卷积层+池化层+激活函数+全连接层

本博客会持续更新,后面会加入各个部分的代码实现。 前沿 在图像分类以及目标定位等任务中,卷积神经网络已经得到了充分地运用。而对于常见的卷积神经网络,我们经常可以看到卷积层、池化层、激活函数、全连接层的身影。直到现在,卷积层+池化层+激活函数+全连接层的结构仍然很实用,似乎已经成为搭建卷积神经网络的基本结构。下面我将从这四个方面分别介绍。 注:通常,池化层和激活函数又归类于卷积层。这里为了讲解方便,...

不积跬步,无以至千里! 5万+

从ISO 17987到SAE J2602:LIN一致性测试标准全景解读与CANoe实现

本文深入解析了从ISO 17987到SAE J2602的LIN一致性测试标准技术演进,详细对比了两大标准体系的技术差异,并基于Vector CANoe平台演示了如何构建符合最新行业要求的自动化测试方案。文章重点介绍了SAE J2602标准的三大改进点,包括唤醒特性、传输层协议和诊断服务的增强测试要求,并提供了CANoe测试环境配置、测试模块集成及测试案例解析的实战指南。

app77的博客 338

卷积神经网络(CNN)详解

卷积神经网络是多层感知机 (MLP)的变种,由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来,视觉皮层的细胞存在一个复杂的构造,这些细胞对视觉输入空间的子区域非常敏感,称之为感受野。CNN由纽约大学的Yann Lecun(杨立昆)于1998年提出(LeNet-5),其本质是一个多层感知机,成功的原因在于其所采用的局部连接和权值共享的方式:一方面减少了权值的数量使得网络易于优化;另一方面降低了模型的复杂度、减小了过拟合 的风险。当网络的输入为图像时,这些优点将表现地更加明显。2006年,

zdx2585503940的博客 9202

通达信短周期指标盘中实时监控与预警选股实战

本文详细介绍了通达信短周期指标在盘中实时监控与预警选股中的实战应用。通过分时指标改造、多股同列监控技巧及预警策略优化,帮助短线交易者捕捉转瞬即逝的交易机会,提升选股效率与准确性。重点解析了如何避免假信号干扰及系统卡顿问题,并探讨了从预警到自动交易的进阶应用。

weixin_29230805的博客 924

用C#完成最小二乘法拟合平面方程,再计算点到面的距离

【代码】用C#完成最小二乘法拟合平面方程,再计算点到面的距离。

MechMaster 649

【卷积神经网络】卷积层、池化层、全连接层

卷积神经网络通过三维输入数据(h×w×c)直接提取特征,相比传统神经网络能更好地保留空间信息。其核心架构包含卷积层、池化层和全连接层,其中只有带权重参数的层(如卷积层和全连接层)计入网络深度。卷积层通过滑动窗口、步长调节、边缘填充和多核设计实现多层次特征提取,小卷积核堆叠既能扩大感受野又能减少参数量。感受野随网络深度递推增长,计算公式为RF_new = RF_prev + (k-1)×S_prev,这种层级结构使浅层提取局部特征,深层捕获全局特征。

一杯水果茶!足矣~ 2195

Quantum Espresso实战进阶:HSE混合泛函在能带计算中的精准应用

本文深入探讨了在Quantum Espresso中应用HSE混合泛函进行高精度能带计算的实战方法。针对传统DFT方法低估半导体带隙的问题,HSE通过混合精确交换能,显著提升计算精度。文章详细讲解了从输入文件配置、参数设置(如nqx网格、exxdiv_treatment)、到自洽与非自洽计算流程,以及结果可视化与对比的全过程,并提供了关键的调优与避坑指南,助力实现从PBE到HSE的精准进阶。

weixin_28363123的博客 229

深度学习——卷积神经网络CNN(原理:基本结构流程、卷积层、池化层、全连接层等)

卷积神经网络作为深度学习的奠基石,在图像识别、语音处理、自然语言处理等领域取得了突破性成果。它的优势在于高效的特征提取和对图像任务的强大性能。然而,随着 Transformer 等新型架构的兴起,CNN 在一些任务中的主导地位有所削弱,但其在视觉任务、嵌入式计算、轻量级模型中仍具有不可替代的作用。未来,CNN 可能会与 Transformer、图神经网络(GNN)等结构融合,形成多模态与跨领域的统一架构。t=P7R7。

2302_78022640的博客 2237

内网(极空间)搭建gitlab跳板机转发端口及域名配置

然后,回头尝试用内网地址+15022 clone,成功,用公网的ip+15222 clone失败,那就是定位到时nginx转发的问题了。首先想到的就是 git clone是通过ssh的22端口进行下载的,那就需要打通22端口,则又配置22端口的nginx转发。然后,我通过ssh命令,做一个端口转发,以实现内网穿透,将服务端口链接到跳板机上。然后穿透到阿里云服务器跳板机的端口,只能内网访问,需要用nginx做个转发,才能用公网ip进行访问。然后,如上,我的80端口,映射15080,22端口映射15022。

God丶Davide的博客 6078

华为OD机试双机位C卷:挑选宝石 (C/C++/Python/JAVA/JS/GO)

华为OD机试双机位C卷 挑选宝石,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。华为OD机试-挑选宝石,华为OD机考-挑选宝石。

qq_45776114的博客 1503

【人工智能基础07】卷积神经网络基础(CNN):卷积神经网络结构、各层计算原理,以及常见卷积神经网络

卷积神经网络

hiliang521的博客 7000

一文带你了解什么是RDMA

RDMA(Remote Direct Memory Access,远程直接内存访问)是一种起源于高性能计算领域的通信技术,如今已广泛应用于数据中心。该技术使得用户程序能够绕过操作系统内核及CPU,直接与网络接口卡(NIC)交互,实现网络通信。这种方式不仅大幅提升了通信带宽,还显著降低了网络延迟,优化了整体性能。

嵌入式技术开发 6019

【机器学习】卷积神经网络(CNN)

卷积神经网络(CNN)是一种深度学习模型,通过多层结构实现图像识别等任务。CNN包括输入层、卷积层、池化层、全连接层和输出层。输入层接收原始数据,卷积层通过滑动卷积核提取图像特征,池化层进一步压缩特征图,减少过拟合并提高模型对平移等变换的鲁棒性。全连接层将提取的特征展开并进行分类或回归任务,输出层通过Softmax函数生成概率分布,完成最终预测。CNN广泛用于图像处理、手写数字识别等领域,具有很强的特征提取能力。

fzy2003的博客 1万+

关于 Nginx 监听地址 0.0.0.0 的详细解释

0.0.0.0在Nginx配置中表示监听服务器所有网络接口(包括公网IP、内网IP和本地回环地址),这是默认配置。当使用listen 80;时,Nginx会接受通过服务器任何IP地址的80端口访问请求。相比只监听特定IP,这种配置更通用,但也意味着服务会对外网开放,需注意安全风险。可通过netstat命令验证监听状态,显示0.0.0.0:80即表示正确配置。

weixin_43674738的博客 1567

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

【深度学习】通俗理解什么是CNN卷积神经网络

卷积神经网络 – CNN 最擅长的就是图片的处理。它受到人类视觉神经系统的启发。 CNN 有2大特点: 能够有效的将大数据量的图片降维成小数据量 能够有效的保留图片特征,符合图片处理的原则 目前 CNN 已经得到了广泛的应用,比如:人脸识别、自动驾驶、美图秀秀、安防等很多领域。

点赞的都能无bug通过! 6316

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

一个卷积神经网络(CNN)中包含的张量大小和参数个数的计算

本篇文章来自于learnopencv.com/number-of-parameters-and-tensor-sizes-in-convolutional-neural-network/,感谢原作者的详细讲解。本人增加一些白话进行补充说明,高手请绕行。~-~ 在这篇文章中,我们分享了一些公式来计算张量(图像)的大小和卷积神经网络(CNN)中每一层的参数个数。 此帖子不定义CNN中使用的基本术语...

u013679159的博客 1万+

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

卷积神经网络CNN

从零开始学习卷积神经网络(CNN)!这篇文章带你全面掌握图像分类的核心原理与实战技巧。从图像像素、通道的基础知识,到卷积层、池化层的计算原理,再到PyTorch代码实现,手把手教你搭建CNN模型。通过CIFAR-10数据集,快速上手图像分类任务,从模型训练到测试精度计算,一步到位!无论是初学者还是进阶者,这篇文章都能让你轻松掌握CNN的精髓!

gorgor在码农 2548

深度学习入门:卷积神经网络 | CNN概述,图像基础知识,卷积层,池化层(超详解!!!)

卷积神经网络是深度学习在计算机视觉领域的突破性成果. 在计算机视觉领域, 往往我们输入的图像都很大,使用全连接网络的话,计算的代价较高. 另外图像也很难保留原有的特征,导致图像处理的准确率不高.卷积神经网络(Convolutional Neural Network)是含有卷积层的神经网络. 卷积层的作用就是用来自动学习提取图像的特征.卷积层池化层和全连接层构成。🐼卷积层负责提取图像中的局部特征;🐼池化层用来大幅降低参数量级(降维);🐼全连接层类似人工神经网络的部分,用来输出想要的结果。

2301_76820214的博客 1939

深度学习-卷积神经网络CNN-CNN、卷积层(卷积核、卷积计算)、池化层(最大池化、平均池化)

卷积神经网络(CNN)是一种专用于处理网格结构数据的深度学习模型,其核心思想是通过局部感知、权值共享和池化操作来高效提取特征。卷积层使用可学习的卷积核滑动计算局部特征,通过填充和步长控制输出尺寸;多通道卷积则能捕捉更丰富的特征表达。池化层(如最大池化)通过下采样降低数据维度,增强模型鲁棒性。PyTorch提供了便捷的API实现这些操作,使CNN在图像分类等计算机视觉任务中表现出色。

2202_75674969的博客 3542

CNN全连接层和卷积层的转化

深度学习网络中很多全连接的实现的部分实际上是使用了较小卷积核的卷积方式,CS231n对于这部分的内容有比较详细地讲解,我会结合自己的理解进行整理。 先来看下CS231n中的内容: 把全连接层转化成卷积层 全连接层和卷积层之间不同在于:卷积核中的权值每次滑动计算时只是局部连接,且在卷积列中的神经元共享参数——计算局部信息,而全连接层神经元的权值与所有输入相连——计算全局信息。但二者都是采用的矩阵的点...

Breeze 8381
上一篇: 深度学习--GPU环境准备
下一篇: 深度学习 Day8——T8猫狗识别
LittleRuby
博客等级 码龄7年 465粉丝 38原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值