Global average pooling

最新推荐文章于 2025-03-27 19:25:13 发布
转载 最新推荐文章于 2025-03-27 19:25:13 发布 · 650 阅读 · 2

本文介绍了Global Average Pooling（GAP），它首次出现在论文Network in Network中，可提高CNN效果。先阐述了深度网络中常见的池化方式及全连接层，指出全连接层易造成过拟合。而GAP可取代最后的全连接层，实现降维、减少参数，还能从结构上防止过拟合。

Golbal Average Pooling 第一次出现在论文Network in Network中，后来又很多工作延续使用了GAP，实验证明：Global Average Pooling确实可以提高CNN效果。

Traditional Pooling Methods

要想真正的理解Global Average Pooling，首先要了解深度网络中常见的pooling方式，以及全连接层。

众所周知CNN网络中常见结构是：卷积、池化和激活。卷积层是CNN网络的核心，激活函数帮助网络获得非线性特征，而池化的作用则体现在降采样：保留显著特征、降低特征维度，增大kernel的感受野。深度网络越往后面越能捕捉到物体的语义信息，这种语义信息是建立在较大的感受野基础上。已古人的例子来做解释，想必大家都知道盲人摸象这个成语的来历，每个盲人只能触摸到大象的一部分，也就是只能获得local response，基于这些local response，盲人们很难猜对他们到底在摸什么。即使是一个明眼人，眼睛紧贴这大象后背看，也很难猜到看的是什么。这个例子告诉我们局部信息很难提供更高层的语义信息，因此对feature map降维，进而增大后面各层kernel的感受野是一件很重要的事情。另外一点值得注意：pooling也可以提供一些旋转不变性。

Fully Connected layer

很长一段时间以来，全连接网络一直是CNN分类网络的标配结构。一般在全连接后会有激活函数来做分类，假设这个激活函数是一个多分类softmax，那么全连接网络的作用就是将最后一层卷积得到的feature map stretch成向量，对这个向量做乘法，最终降低其维度，然后输入到softmax层中得到对应的每个类别的得分。

全连接层如此的重要，以至于全连接层过多的参数重要到会造成过拟合，所以也会有一些方法专门用来解决过拟合，比如dropout。

Global Average Pooling

有了上面的基础，再来看看global average poolilng。既然全连接网络可以使feature map的维度减少，进而输入到softmax，但是又会造成过拟合，是不是可以用pooling来代替全连接。

答案是肯定的，Network in Network工作使用GAP来取代了最后的全连接层，直接实现了降维，更重要的是极大地减少了网络的参数(CNN网络中占比最大的参数其实后面的全连接层)。Global average pooling的结构如下图所示: 
gap-structure
每个讲到全局池化的都会说GAP就是把avg pooling的窗口大小设置成feature map的大小，这虽然是正确的，但这并不是GAP内涵的全部。GAP的意义是对整个网络从结构上做正则化防止过拟合。既要参数少避免全连接带来的过拟合风险，又要能达到全连接一样的转换功能，怎么做呢？直接从feature map的通道上下手，如果我们最终有1000类，那么最后一层卷积输出的feature map就只有1000个channel，然后对这个feature map应用全局池化，输出长度为1000的向量，这就相当于剔除了全连接层黑箱子操作的特征，直接赋予了每个channel实际的类别意义。

全局平均池化（Global Average Pooling）
梁小憨憨的博客
02-08 3万+
最近看论文，看到了全局平均池化，之间见过这东西，但是没有仔细了解，今天学习一下，并记录下来，方便以后查阅。
如何使用全局平均池化（Global Average Pooling）
weixin_43960370的博客
04-24 1505
Golbal Average Pooling 第一次出现在论文Network in Network中，后来又很多工作延续使用了GAP，实验证明：Global Average Pooling确实可以提高CNN效果。
深度学习的全局平均池化（GAP）技术
02-20 2512
在深度学习，特别是卷积神经网络（Convolutional Neural Networks, CNNs）的发展过程中，全局平均池化（Global Average Pooling, GAP）技术已成为一种重要的结构组件，尤其是在图像识别和分类任务中。全局平均池化（GAP）是一种池化（Pooling）操作，它在卷积神经网络的最后一层卷积层之后被应用，用于将每个特征图（Feature Map）的平均值作为该特征的总体表示。具体来说，对于每一个特征图，GAP计算所有元素的平均值，生成一个单一的标量值。
Global average Pooling
热门推荐
Losteng的博客
05-28 4万+
最近在看关于cifar10 的分类的识别的文章 在看all convolution network 中看到中用到一个global average pooling  下面就介绍一下global average pooling  这个概念出自于 network in network  主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这
Global Average Pooling
qq_20481015的博客
05-22 644
转：https://blog.youkuaiyun.com/weixin_33982670/article/details/88156274 GAP (Global Average Pooling)可用于模型微调,在做图像分类比赛时效果较好.最早在<<Network In Network>>中提出. 在常见的卷积神经网络中,全连接层之前的卷积层负责对图像进行特征提取,在获取特征后,...
【Keras】AveragePooling1D层和GlobalAveragePooling1D层
GW_Krystal的博客
11-01 2269
- 平均池化用于时序数据。 - 下采样输入表示，通过对被定义为pool_size的窗口取平均值。窗口根据步长strides进行切换。 - 当使用"valid" （padding）填充选项时，结果的输出的形状为：output_shape = (input_shape - pool_size + 1) / strides) inputs：一个三维的tensor。 - mask：二元的tensor，它的shape是（batch_size, steps），表明给定的step是否应该被masked（也就是从平均值里剔
一句话理解GlobalAveragePooling2D的算法效果
weixin_42670810的博客
09-02 7643
GlobalAveragePooling2D就是将每张图片的每个通道值各自加起来再求平均，最后结果是没有了宽高维度，只剩下个数与平均值两个维度。可以理解为变成了多张单像素图片。 从形状上看：[B,H,W,C] ->GlobalAveragePooling2D -> [B,C] 下面有1张图片,高宽分别是2像素，RGB3个通道。即[1,2,2,3] 经过GlobalAveragePooling2D得到一个单通道单像素图片[1,3]. 其中RGB各分通道的像素值都加起来之后得到了一个平均值。 imp
Pytorch实现全局平均池化（Global Average Pooling )
u014772432的博客
02-06 1万+
现在所有的博客上面，大部分并没有这个功能的实现，或者大部分没有使用pytorch去实现全局平均池化这个功能。所以这篇博客就是用pytorch来实现全局平均池化这个功能。 首先全局平均池化的目的是提取每一张特征图的平均值。 实现全局平均池化大部分用的是keras的库。先看代码。 import tensorflow as tf import torch a=torch.arange(0,24).view(2, 3, 2,2) a=a.float() a=a.numpy() print("This is
GlobalAveragePooling2D()
qq_41286949的博客
05-26 5277
tf.keras.layers.GlobalAveragePooling2D() tf.keras.layers.GlobalAveragePooling2D( data_format=None, **kwargs ) 输入参数： data_format: 输入是一个字符串。“channels_last”(默认) 或者"channels_first"。 channels_last:代表通道数在最后，输入数据的形式是(batch, height, width, channels)； channels
关于Global average Pooling
水不在深有江的博客
07-31 898
看了几个典型网络似乎最后都有这一层Global average Pooling，相关说明转载自 https://blog.youkuaiyun.com/williamyi96/article/details/77530995 https://blog.youkuaiyun.com/losteng/article/details/51520555...
全局平均池化（Global Average Pooling，简称GAP）
weixin_46211609的博客
03-27 1814
全局平均池化（Global Average Pooling，简称GAP）是一种常用于卷积神经网络（CNN）中的池化方法，特别是在图像分类等任务中。它的作用是通过对每个特征图（feature map）进行平均操作来减少数据的维度。：通常是一个经过卷积层处理的特征图，大小为 ( H × W × C )（其中 ( H ) 和 ( W ) 分别是特征图的高度和宽度，( C ) 是通道数）。
GAP(Global Average Pooling)
Crazy的博客
05-09 2631
GAP出自于论文 Network in Network 常见CNN的网络结构为： Input Layer、Convolutional Layer、Pooling Layer、Fully Connected Layer、Output Layer 论文使用GAP来代替最后的全连接层，对最后一层每一个特征图，进行全局的均值池化。这样，每个特征图对应一个特征点。所有特征点组成的特征向量，进行softmax...
【GAP】Global average Pooling
咖啡味儿的咖啡
04-28 606
这个概念出自于 network in network 主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这些特征点组成最后的特征向量 进行softmax中进行计算。 举个例子 假如，最后的一层的数据是10个6*6的特征图，global average pooling是将每一张特征图计算所有像素点的均值，输出一个数据值，这样10 个特征图就...
global average pooling（GAP）
qq_43258953的博客
11-12 464
Traditional Pooling Methods 要想真正的理解Global Average Pooling，首先要了解深度网络中常见的pooling方式，以及全连接层。 CNN网络中常见结构是：卷积、池化和激活。卷积层是CNN网络的核心，激活函数帮助网络获得非线性特征，而池化的作用则体现在降采样：保留显著特征、降低特征维度，增大kernel的感受野。深度网络越往后面越能捕捉到物体的语义信息...
GlobalAveragePooling
最新发布
05-09
### Global Average Pooling 的概念 全局平均池化（Global Average Pooling, GAP）是一种用于减少特征图空间维度的技术，通常应用于卷积神经网络（Convolutional Neural Networks, CNNs）。它通过计算整个特征图上的像素值的平均值得到单一数值来替代传统的全连接层。这种方法不仅减少了参数数量，还降低了过拟合的风险。 GAP 的主要作用是在最后一个卷积层之后应用，将每个通道的空间尺寸压缩为单个值。这使得模型可以直接从局部响应中提取全局信息[^2]。 ```python import tensorflow as tf from tensorflow.keras.layers import GlobalAveragePooling2D # 假设输入张量形状为 (batch_size, height, width, channels) input_tensor = tf.random.normal(shape=(32, 7, 7, 512)) # 示例输入 # 应用全局平均池化 gap_layer = GlobalAveragePooling2D() output_tensor = gap_layer(input_tensor) print(output_tensor.shape) # 输出形状应为 (32, 512)，即 batch size 和 channel 数不变 ``` 在这个例子中，`GlobalAveragePooling2D` 层接收一个四维张量作为输入 `(batch_size, height, width, channels)`，并返回二维张量 `(batch_size, channels)`。这意味着高度和宽度被完全压缩成单个值，而通道数保持不变。 ### 实现细节 在深度学习框架中，如 TensorFlow 或 PyTorch，可以通过内置函数轻松实现 GAP： #### 使用 TensorFlow/Keras TensorFlow 提供了 `tf.keras.layers.GlobalAveragePooling2D()` 来简化这一过程。该方法会自动处理不同大小的输入，并将其转换为固定长度的向量[^4]。 #### 自定义实现 如果需要手动实现 GAP，则可以利用 NumPy 或 TensorFlow 的基本操作完成相同功能： ```python def custom_global_average_pooling(x): """ 手动实现全局平均池化的函数。 参数: x: 输入张量，形状为 (batch_size, height, width, channels). 返回: y: 经过全局平均池化后的张量，形状为 (batch_size, channels). """ return tf.reduce_mean(x, axis=[1, 2]) # 测试自定义实现 custom_output = custom_global_average_pooling(input_tensor) print(custom_output.shape) # 验证输出形状是否一致 ``` 这段代码展示了如何不依赖于预定义的层接口，而是直接调用底层运算符执行相同的逻辑。 ### 总结 全局平均池化提供了一种有效的方法，在保留重要语义信息的同时显著降低模型复杂度。对于某些特定应用场景而言，比如图像分类任务中的最后几层设计阶段，采用 GAP 可能带来性能提升以及训练效率改善的效果[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值