【GAP】Global average Pooling

这个概念出自于 network in network 

主要是用来解决全连接的问题,其主要是是将最后一层的特征图进行整张图的一个均值池化,形成一个特征点,将这些特征点组成最后的特征向量

进行softmax中进行计算。

举个例子

假如,最后的一层的数据是10个6*6的特征图,global average pooling是将每一张特征图计算所有像素点的均值,输出一个数据值,这样10 个特征图就会输出10个数据点,将这些数据点组成一个1*10的向量的话,就成为一个特征向量,就可以送入到softmax的分类中计算了

而传统的方法是最后一层卷积特征需要进行Flat, 然后使用fc连接,输出10个特征

上图是从PPT中截取的对比全连接与全局均值池化的差异

原文中介绍这样做主要是进行全连接的替换,减少参数的数量,这样计算的话,global average pooling层是没有数据参数的

这也与network in network 有关,其文章中提出了一种非线性的 类似卷积核的mlpconv的感知器的方法,计算图像的分块的值

可以得到空间的效果,这样就取代了pooling的作用,但是会引入一些参数,但是为了平衡,作者提出了使用global average pooling

下面是network in network 中的摘取

下图是是一个基于MLP的局部计算,最后使用global average pooling 的network in network 的结构图


 

### Global Average Pooling 的概念 全局平均池化(Global Average Pooling, GAP)是一种用于减少特征图空间维度的技术,通常应用于卷积神经网络(Convolutional Neural Networks, CNNs)。它通过计算整个特征图上的像素值的平均值得到单一数值来替代传统的全连接层。这种方法不仅减少了参数数量,还降低了过拟合的风险。 GAP 的主要作用是在最后一个卷积层之后应用,将每个通道的空间尺寸压缩为单个值。这使得模型可以直接从局部响应中提取全局信息[^2]。 ```python import tensorflow as tf from tensorflow.keras.layers import GlobalAveragePooling2D # 假设输入张量形状为 (batch_size, height, width, channels) input_tensor = tf.random.normal(shape=(32, 7, 7, 512)) # 示例输入 # 应用全局平均池化 gap_layer = GlobalAveragePooling2D() output_tensor = gap_layer(input_tensor) print(output_tensor.shape) # 输出形状应为 (32, 512),即 batch size 和 channel 数不变 ``` 在这个例子中,`GlobalAveragePooling2D` 层接收一个四维张量作为输入 `(batch_size, height, width, channels)`,并返回二维张量 `(batch_size, channels)`。这意味着高度和宽度被完全压缩成单个值,而通道数保持不变。 ### 实现细节 在深度学习框架中,如 TensorFlow 或 PyTorch,可以通过内置函数轻松实现 GAP: #### 使用 TensorFlow/Keras TensorFlow 提供了 `tf.keras.layers.GlobalAveragePooling2D()` 来简化这一过程。该方法会自动处理不同大小的输入,并将其转换为固定长度的向量[^4]。 #### 自定义实现 如果需要手动实现 GAP,则可以利用 NumPy 或 TensorFlow 的基本操作完成相同功能: ```python def custom_global_average_pooling(x): """ 手动实现全局平均池化的函数。 参数: x: 输入张量,形状为 (batch_size, height, width, channels). 返回: y: 经过全局平均池化后的张量,形状为 (batch_size, channels). """ return tf.reduce_mean(x, axis=[1, 2]) # 测试自定义实现 custom_output = custom_global_average_pooling(input_tensor) print(custom_output.shape) # 验证输出形状是否一致 ``` 这段代码展示了如何不依赖于预定义的层接口,而是直接调用底层运算符执行相同的逻辑。 ### 总结 全局平均池化提供了一种有效的方法,在保留重要语义信息的同时显著降低模型复杂度。对于某些特定应用场景而言,比如图像分类任务中的最后几层设计阶段,采用 GAP 可能带来性能提升以及训练效率改善的效果[^5]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值