CNN中卷积、池化、激活，Fully Connected layer，Global Average Pooling的作用

最新推荐文章于 2025-10-12 17:14:53 发布
转载 最新推荐文章于 2025-10-12 17:14:53 发布 · 1.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
原文链接：https://www.jianshu.com/p/04f7771f4da2
文章标签：

#CNN

本文深入探讨了全局平均池化（GlobalAveragePooling，GAP）在卷积神经网络（CNN）中的作用，解释了它如何替代全连接层进行特征降维，减少网络参数，防止过拟合，同时保持分类性能。GAP通过直接从特征图的通道获取类别信息，简化了网络结构，提高了模型的泛化能力。

raditional Pooling Methods

要想真正的理解Global Average Pooling，首先要了解深度网络中常见的pooling方式，以及全连接层。

众所周知CNN网络中常见结构是：卷积、池化和激活。卷积层是CNN网络的核心，激活函数帮助网络获得非线性特征，而池化的作用则体现在降采样：保留显著特征、降低特征维度，增大kernel的感受野。深度网络越往后面越能捕捉到物体的语义信息，这种语义信息是建立在较大的感受野基础上。已古人的例子来做解释，想必大家都知道盲人摸象这个成语的来历，每个盲人只能触摸到大象的一部分，也就是只能获得local response，基于这些local response，盲人们很难猜对他们到底在摸什么。即使是一个明眼人，眼睛紧贴这大象后背看，也很难猜到看的是什么。这个例子告诉我们局部信息很难提供更高层的语义信息，因此对feature map降维，进而增大后面各层kernel的感受野是一件很重要的事情。另外一点值得注意：pooling也可以提供一些旋转不变性。

Fully Connected layer

很长一段时间以来，全连接网络一直是CNN分类网络的标配结构。一般在全连接后会有激活函数来做分类，假设这个激活函数是一个多分类softmax，那么全连接网络的作用就是将最后一层卷积得到的feature map stretch成向量，对这个向量做乘法，最终降低其维度，然后输入到softmax层中得到对应的每个类别的得分。

全连接层如此的重要，以至于全连接层过多的参数重要到会造成过拟合，所以也会有一些方法专门用来解决过拟合，比如dropout。

Global Average Pooling

有了上面的基础，再来看看global average poolilng。既然全连接网络可以使feature map的维度减少，进而输入到softmax，但是又会造成过拟合，是不是可以用pooling来代替全连接。

答案是肯定的，Network in Network工作使用GAP来取代了最后的全连接层，直接实现了降维，更重要的是极大地减少了网络的参数(CNN网络中占比最大的参数其实后面的全连接层) 。 但是同样也降低了classification performance。Global average pooling的结构如下图所示:

 

image.png

每个讲到全局池化的都会说GAP就是把avg pooling的窗口大小设置成feature map的大小，这虽然是正确的，但这并不是GAP内涵的全部。GAP的意义是对整个网络从结构上做正则化防止过拟合。既要参数少避免全连接带来的过拟合风险，又要能达到全连接一样的转换功能，怎么做呢？直接从feature map的通道上下手，如果我们最终有1000类，那么最后一层卷积输出的feature map就只有1000个channel，然后对这个feature map应用全局池化，输出长度为1000的向量， 这就相当于剔除了全连接层黑箱子操作的特征，直接赋予了每个channel实际的类别意义。当然两者之间的值也可以不一样，就是feature global pooling之后，再乘以 w_(channel * category) 也能得到最后为category长度的向量

实验证明，这种方法是非常有效的，

这样做还有另外一个好处：不用在乎网络输入的图像尺寸。同时需要注意的是，使用gap也有可能造成收敛变慢。

卷积神经网络CNN
qq_53643542的博客
03-21 1409
卷积网络CNN的基本学习卷积神经网络 卷积神经网络 神经网络： 神经元的结构：线性函数，非线性的激活函数（改变数据的线性关系，并且将数据映射在某个范围内，防止数据过大溢出） 全连接：每个神经元都与下一个神经元相连 卷积核：filter过滤器，卷积核大小指定小于输入图象尺寸，卷积核越大，可提前的输入特征越复杂 卷积神经网络CNN参数 卷积核大小 填充padding，（f-1）/2 步长stride 卷积输出大小（n-f+2p）/s+1 通道：channel（RGB） 池化pooling：降维 dropout：
深度学习：卷积神经网络，卷积，激活函数，池化，卷积问题
weixin_41108334的博客
10-15 3万+
卷积神经网络——输入层、卷积层、激活函数、池化层、全连接层 https://blog.youkuaiyun.com/yjl9122/article/details/70198357?utm_source=blogxgwz3 一、卷积层 特征提取 输入图像是32*32*3，3是它的深度（即R、G、B），卷积层是一个5*5*3的filter(感受野),这里注意：感受野的深度必须和输入图像的深度相同。通...
tensorflow实现Global average pooling 解决CNN中输入数据size不等的问题
qq_43534932的博客
10-13 3670
摘要 笔者最近在研究语音识别的项目，发现与图像不同的是，语音识别在深度学习网络面临着帧长不等（相对来说图像有很多解决方法，如：crop，resize）的问题，而目前在语音方向上的一个较为常规的方法是选定较大的帧长，然后padding 0，这种方法会让零参与运算，而NIN（network in network）的方法给了笔者一个新的思路，可以解决这一问题。 Global averge pooling...
深度学习 Global average pooling (GAP) 全局平均池化
puspos的博客
09-01 2367
Global average pooling 之前 如何分类 cnn中通常在最后分类时，最后用全连接层接softmax激活函数进行分类。 最后一层卷积通过卷积得到全连接的输入 最后一层的卷积得到的feature map为(channels_in, h,w)，通过一个卷积核(channels,h,w)，得到一个神经元即(1,1,1)。若全连接层的输入要求有1024个神经元，则需要1024个卷积核。 存在的问题 全连接参数量过大，降低了训练的速度，且很容易过拟合 Global average pooling
卷积初识（二）——什么是激活函数和池化
最新发布
2501_93473029的博客
10-12 990
功能解释引入非线性让网络能学习复杂关系抑制无效信号例如 ReLU 把负数置0提高表达能力不只是简单线性变换功能解释降低计算复杂度特征图尺寸变小抑制过拟合减少参数量提高鲁棒性对图像位置变化更稳定提取核心特征选出“最重要”的响应卷积：提取“看得见”的局部特征；激活函数：让网络“理解复杂关系”；池化：让网络“抓重点，不纠结细节”。
两句话讲清楚CNN中的Pooling和Dropout
AMG_GT的博客
12-11 3134
池化（Pooling）用于减少特征数量。最大值池化（Max Pooling）可提取图片纹理，均值池化（Average Pooling）可保留背景特征。 舍弃（Dropout），在神经网络训练过程中，将一部分神经元按照一定概率从神经网络中舍弃，使用时被舍弃神经元恢复链接。...
Global Average Pooling全局平均池化的一点理解
qq_23304241的博客
05-12 5万+
  Traditional Pooling Methods 要想真正的理解Global Average Pooling，首先要了解深度网络中常见的pooling方式，以及全连接层。 众所周知CNN网络中常见结构是：卷积、池化和激活。卷积层是CNN网络的核心，激活函数帮助网络获得非线性特征，而池化的作用则体现在降采样：保留显著特征、降低特征维度，增大kernel的感受野。深度网络越往后面越能捕...
浅谈Global average pooling (GAP)
11-05 1983
Golbal Average Pooling 第一次出现在论文Network in Network中，后来又很多工作延续使用了GAP，实验证明：Global Average Pooling确实可以提高CNN效果。 Traditional Pooling Methods 要想真正的理解Global Average Pooling，首先要了解深度网络中常见的pooling方式，以及全连接层。 ...
如何使用全局平均池化（Global Average Pooling）
weixin_43960370的博客
04-24 1474
Golbal Average Pooling 第一次出现在论文Network in Network中，后来又很多工作延续使用了GAP，实验证明：Global Average Pooling确实可以提高CNN效果。
When using CNN for image classification, in which part of the model is the fully connected layer usually used? 中文作答
03-28
在卷积神经网络（CNN）用于图像分类任务时，全连接层（Fully Connected Layer，简称FC层）通常被用作模型的**最后部分**，位于卷积/池化层之后，负责将提取的高维特征映射到具体的类别输出。 ### 原因与作用解释： ...
PyTorch 池化层详解
fydw_715的博客
09-17 2230
池化层（Pooling Layer）在卷积神经网络（CNN）中是关键组成部分，主要用于降维和减少计算量，增强模型的鲁棒性。池化层包括最大池化（Max Pooling）、平均池化（Average Pooling）和全局池化（Global Pooling）。最大池化通过选取池化窗口内的最大值保留显著特征，平均池化计算窗口内的平均值以减少噪声，全局池化将特征图缩小为单个值以简化模型结构和减少参数。池化层通过降维、特征提取和抑制噪声显著提高了模型的计算效率和鲁棒性。
Global Average Pooling
okmacong的博客
04-20 815
主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这些特征点组成最后的特征向量 进行softmax中进行计算。 举个例子 假如，最后的一层的数据是10个6*6的特征图，global average pooling是将每一张特征图计算所有像素点的均值，输出一个数据值， 这样10 个特征图就会输出10个数据点，将这些数据点组成一个1*10的向量的话，就...
全局平均池化（Global Average Pooling）
梁小憨憨的博客
02-08 3万+
最近看论文，看到了全局平均池化，之间见过这东西，但是没有仔细了解，今天学习一下，并记录下来，方便以后查阅。
卷积神经网络（CNN）结构详解
热门推荐
咖乐部
11-06 6万+
一、CNN的基本结构： 1.图像就是输入层 2.接着是CNN特有的卷积层（convolution），卷积层的自带激活函数使用的是ReLU 3.接着是CNN特有的池化层（pooling）， 4.卷积层+池化层的组合可以在隐藏层中出现很多次。也可以灵活组合，卷积+卷积+池化、卷积+卷积等 5.在若干卷积层+池化层之后是全连接层（fully connected layer），其实就是DNN结构，只是输出层使用了Softmax激活函数来做图像识别的分类 6.一般fc就为CNN的全连接层。全连接层一般..
永兴的tensorflow笔记-14 池化层以及Dropout层
深度探寻者
01-25 2651
一、什么是池化层？ 池化（Pooling）是卷积神经网络中另一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效地原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，...
图像分割之Global Convolutional Network(GCN)
Mao_Jonah的博客
07-16 3405
论文：Large Kernel Matters —— Improve Semantic Segmentation by Global Convolutional Network 主要工作（创新点）： 提出全局卷积网络（Global Convolutional Network，GCN），用以同时提高语义分割中分类和定位的准确度。 提出Boundary Refinement block（BR）, 用以提高物体边界的定位。 在早期的网络中，有不少大卷积核。后来因为在相同计算复杂度下，堆叠的小滤波器比大内核更高
对全连接层（fully connected layer）的通俗理解
qq_29631521的博客
04-11 6748
原文地址 https://blog.youkuaiyun.com/qq_39521554/article/details/81385159 定义 全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层...
卷积神经网络(CNN)原理详解
IT之一小佬的博客
06-17 3万+
卷积神经网络(CNN)原理详解 1. 卷积神经网络的组成 定义 卷积神经网络由一个或多个卷积层、池化层以及全连接层等组成。与其他深度学习结构相比，卷积神经网络在图像等方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他浅层或深度神经网络，卷积神经网络需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。 我们来看一下卷积网络的整体结构什么样子。 其中包含了几个主要结构 卷积层（Convolutions） 池化层（Subsampling） 全连接层（Full c
Global Average Pooling → FC → Softmax
03-11
<think>好的，用户的问题是关于神经网络中全局平均池化（Global Average Pooling, GAP）后接全连接层（Fully Connected Layer）再接Softmax的实现方式和工作原理。我需要先理解每个组件的作用，然后解释它们如何协同工作。 首先，全局平均池化。通常在卷积神经网络（CNN）中，卷积层和池化层之后会有一个全连接层来进行分类。但全连接层参数多，容易过拟合。而GAP通过将每个特征图的空间维度平均池化为一个标量，减少参数数量。例如，如果有K个特征图，GAP后会得到K个特征值。 接下来是全连接层。虽然GAP本身可以替代全连接层，但有时还会在后面接一个较小的全连接层，可能是为了进一步调整特征的组合，或者适应输出的类别数。比如，GAP输出K个特征，全连接层可能将其映射到类别数目，比如C个节点。 然后是Softmax层，将全连接层的输出转换为概率分布，用于分类。 实现方面，用户可能想知道如何在代码中构建这样的结构。比如，在Keras中，GlobalAveragePooling2D层后接Dense层，再激活Softmax。需要确保输入输出的维度正确，比如卷积层的输出形状是否符合GAP的要求。 可能需要注意的问题包括：GAP如何减少过拟合，参数量的变化，以及为什么在GAP后还要使用全连接层。例如，VGG等网络直接用全连接层，而ResNet可能使用GAP后直接接Softmax，但根据具体设计，中间可能仍有全连接层调整维度。 还要考虑数学公式的展示。例如，GAP的数学表达式是对于每个特征图求平均，全连接层是线性变换，Softmax是归一化指数函数。 用户可能还希望了解这种结构的优势，比如参数更少，模型更轻量，适合迁移学习等。同时，可能的应用场景，比如图像分类中的高效模型设计。 需要确保引用相关参考文献，比如引用[1]和[2]提到全连接层参数较多，而GAP可以减少参数，引用[4]关于卷积层的原理。 最后，生成相关问题时要围绕GAP、全连接层、Softmax的组合，可能的优化、比较和应用等。</think>### 全局平均池化接全连接层和Softmax的实现与原理 #### 1. **全局平均池化（Global Average Pooling, GAP）** **作用**：将每个特征图（Feature Map）的空间维度（宽×高）压缩为单个标量。例如，若卷积层输出为 $H \times W \times K$（高×宽×通道数），GAP 会将其转换为 $1 \times 1 \times K$，即对每个通道的所有元素取平均值： $$ \text{GAP}(x)_{k} = \frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} x_{i,j,k} $$ **优势**： - 显著减少参数量，避免全连接层导致的过拟合[^1][^2]。 - 保留通道维度的语义信息，增强模型泛化能力。 #### 2. **全连接层（Fully Connected Layer）** **作用**：将 GAP 输出的 $K$ 维特征向量映射到目标类别数 $C$ 的维度。数学表示为： $$ \mathbf{z} = \mathbf{W} \cdot \mathbf{f} + \mathbf{b} $$ 其中 $\mathbf{f} \in \mathbb{R}^K$ 是 GAP 输出，$\mathbf{W} \in \mathbb{R}^{C \times K}$ 为权重矩阵，$\mathbf{b} \in \mathbb{R}^C$ 为偏置。 **设计意义**： - 在 GAP 后添加全连接层可灵活调整输出维度（例如适应分类任务类别数）。 - 部分网络（如ResNet）直接用 GAP 接 Softmax，但保留全连接层可增强特征组合能力[^4]。 #### 3. **Softmax 激活函数** **作用**：将全连接层输出转换为概率分布： $$ \text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{C} e^{z_j}} $$ **结果**：输出 $C$ 个类别的概率，用于分类任务。 --- ### **实现方式（以Keras为例）** ```python from keras.models import Sequential from keras.layers import Conv2D, GlobalAveragePooling2D, Dense model = Sequential() model.add(Conv2D(64, (3,3), activation='relu', input_shape=(224,224,3))) # 卷积层示例 model.add(GlobalAveragePooling2D()) # GAP层，输出形状为 (None, 64) model.add(Dense(1000, activation='softmax')) # 全连接层 + Softmax ``` --- ### **工作流程** 1. **特征提取**：卷积层提取空间特征（如边缘、纹理）。 2. **压缩特征**：GAP 将每个特征图压缩为标量，保留通道语义。 3. **分类映射**：全连接层将压缩后的特征映射到类别空间。 4. **概率输出**：Softmax 生成类别概率。 --- ### **优势与适用场景** - **参数效率**：GAP 替代全连接层可减少参数（如 VGG16 全连接层参数占比 >80%[^1]）。 - **抗过拟合**：适用于小数据集或轻量化模型（如 MobileNet）。 - **解释性**：GAP 输出的通道可对应类别激活（Class Activation Mapping）[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值