【模型解读】pooling去哪儿了？

最新推荐文章于 2025-02-06 10:11:38 发布
原创 最新推荐文章于 2025-02-06 10:11:38 发布 · 554 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习模型 #模型解读 #计算机视觉 #深度学习

文章首发于微信公众号《与有三学AI》

【模型解读】pooling去哪儿了？

这是深度学习模型解读第5篇，本篇我们将介绍深度学习模型中的pooling。

作者&编辑 | 言有三

 

01 概述

相信大家都记得，LeNet5，AlexNet，Vgg系列的核心思想，是convolution+pooling的核心结构。

 

但是，不知道从何时开始，pooling没了，对，就是没了。这是mobilenet【1】可视化后的部分结构图，懒得去画block图了。

 

如今大部分情况下，pooling就出现在网络的最后，或者一些需要concat/add不同通道的block里面，为何？本文从3个方面来说说。

 

02 pooling是什么

pooling，小名池化。

 

上图就是一个池化的示意图，用了一个10*10的卷积核，对20*20的图像分块不重叠的进行了池化，池化之后featuremap为2*2的大小。

pooling有什么用呢？或者说为什么需要pooling呢？

原因有几个：

(1) 增大感受野

所谓感受野，即一个像素对应回原图的区域大小，假如没有pooling，一个3*3，步长为1的卷积，那么输出的一个像素的感受野就是3*3的区域，再加一个stride=1的3*3卷积，则感受野为5*5，我们看左上角像素的传播就明白了。

 

依次，再多一个卷积，则为7*7，如果想看到224*224的全图，大家可以算算需要多少卷积层。

假如我们在每一个卷积中间加上3*3的pooling呢？很明显感受野迅速增大，这就是pooling的一大用处。感受野的增加对于模型的能力的提升是必要的，正所谓“一叶障目则不见泰山也”。

(2) 平移不变性

我们希望目标的些许位置的移动，能得到相同的结果。因为pooling不断地抽象了区域的特征而不关心位置，所以pooling一定程度上增加了平移不变性。

(3) 容易优化，pooling是每个featuremap单独做降采样，与基于卷积的降采样相比，不需要参数，更容易优化。

 

03 如何去除pooling

那pooling是必要的吗？答案已经很明了了，不需要。文【2】做了详细的实验，在cifar，imagenet等多个数据集上实验结果表明，完全没有必要。因为我们可以用步长大于1的卷积来替代。

当步长不为1时，降采样的速度将变快。

当stride，也就是步长等于2，上面的5*5一次卷积后就为2*2了。这其实还减轻了重叠的卷积操作，通过卷积来学习了降采样，看起来好处还是不少的。

实验结果也佐证了这一点。

 

 

上面就是作者的实验结果，all-cnn-c相比convpool-cnn-c，就是在同等卷积层的基础上，去掉了pooling，结果B和C系列模型效果都是提升的，关于A，B，C系列具体细节大家可以参考文章。

总之，不管是文献的研究结果，以及大家的实际使用经验，都已经完全使用带步长的卷积替换掉了pooling这一降采用的操作。

 

04pooling没用了吗？

答案是有，因为pooling相对于带步长的卷积操作，毕竟减少了计算量，所以对于很多需要concat/add featuremap通道的小模型，pooling仍然可以以小搏大。比如下面的shufflenet的block。

 

不过总的来说，pooling，走好。

 

参考文献

【1】Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. 2017.

【2】Springenberg J T, Dosovitskiy A, Brox T, et al. Striving for Simplicity: The All Convolutional Net[J]. Eprint Arxiv, 2014.

【3】Zhang X, Zhou X, Lin M, et al. ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices[J]. 2017.

 

同时，在我的知乎专栏也会开始同步更新这个模块，欢迎来交流

https://zhuanlan.zhihu.com/c_151876233

注：部分图片来自网络

—END—

转载请留言，侵权必究

本系列的完整目录：

【模型解读】从LeNet到VGG，看卷积+池化串联的网络结构

【模型解读】network in network中的1*1卷积，你懂了吗

【模型解读】GoogLeNet中的inception结构，你看懂了吗

【模型解读】说说移动端基准模型MobileNets

【模型解读】pooling去哪儿了？

【模型解读】resnet中的残差连接，你确定真的看懂了？

【模型解读】“不正经”的卷积神经网络

【模型解读】“全连接”的卷积网络，有什么好？

【模型解读】从“局部连接”回到“全连接”的神经网络

【模型解读】深度学习网络只能有一个输入吗

【模型解读】从2D卷积到3D卷积，都有什么不一样

【模型解读】浅析RNN到LSTM

感谢各位看官的耐心阅读，不足之处希望多多指教。后续内容将会不定期奉上，欢迎大家关注有三公众号 有三AI！

 

 

MCP模型上下文协议：AIGC技术的最新进展
SuperAGI2025
05-06 965
当你和Siri聊完“周末想去露营”，接着问“需要带帐篷吗”时，AI需要记住前一句的“露营”才能给出合理回答。但传统AIGC技术在处理多轮对话、长文本或跨模态内容时，常出现“断片”——比如写小说时忘记主角的设定，或聊天时突然偏离话题。本文聚焦的MCP模型上下文协议（Memory Context Protocol），正是为解决这一痛点而生的最新技术。我们将覆盖MCP的核心原理、技术实现、实战案例及未来趋势，帮你掌握这一AIGC的“记忆增强器”。
领域偏见缓解创新：AI原生应用中的联邦学习应用
最新发布
SuperAGI2025
09-28 321
在AI原生应用（以AI为核心设计的软件）中，模型效果常因"领域偏见"（不同数据源特征分布差异）大幅下降：医院A的肿瘤检测模型在医院B可能误诊，电商平台的用户推荐系统换个城市就"水土不服"。本文聚焦这一痛点，深入解析联邦学习（Federated Learning）如何通过"数据不动模型动"的创新模式，在保护隐私的同时缓解领域偏见，推动AI原生应用从"单域专用"向"多域通用"进化。用奶茶店的故事引出领域偏见痛点；拆解联邦学习核心概念与运行原理；通过跨医院肿瘤检测实战演示技术落地；
感受野与空洞卷积
dreamer5z的博客
05-05 7149
空洞卷积英文名为Dilated Convolution或Atrous Convolution，即空洞卷积或者扩张卷积。一般情况下，图片输入到网络中，网络将会对图像做卷积再池化（pooling）的操作，pooling的操作即降低了图像尺寸的同时增大感受野。但由于图像分割预测是pixel-wise的输出，所以将pooling后较小的图像上采样（upsampling）到原始的图像尺寸进行预测一般需要采用反卷积（deconv）操作。
3D 池化（MaxPool3D） 和 3D（Conv3d） 卷积详解
生命在于折腾！
09-11 2万+
3D 池化（MaxPool3D） 和 3D（Conv3d） 卷积详解 池化和卷积的过程是类似的，只是池化没有权重，相比起来更容易说明计算的过程。这里从 3D 池化开始详细接受 MaxPool3D 和 Conv3d 的过程，并尝试通过 2D 和 1D 的池化来实现 3D 池化的过程。 3D （池化或者卷积）相比 2D 增加了一个维度，但是大致过程依然和 2D 类似，所以在看 3D 之前应该确保已经清楚 2D 的过程了，如果对 2D 不熟悉的朋友，可以参考 动图详细讲解 LeNet-5 网络结构，里面有动图演示
第五章　卷积神经网络（CNN）
qq_36955294的博客
11-29 974
2D卷积核和3D卷积和的区别以及应用： 卷积的三种模式： 设 image的大小是7x7，filter的大小是3x3 1，full mode 橙色部分为image, 蓝色部分为filter。full模式的意思是，从filter和image刚相交开始做卷积，白色部分为填0。filter的运动范围如图所示。 2，same mode 当filter的中心(K)与im...
python attention机制_Attention机制在问答系统中的应用--attentive pooling networks
weixin_31855625的博客
02-09 755
Attention机制在时序模型中的应用，已经被证明能够提升模型的性能。本文参考《Attentive pooling Networks》，该论文以时序模型输出状态设计Attention为基线(QA_LSTM_ATTENTION)，提出了一种同时对问题和答案进行特征加权的Attention设计方案。本文实现了论文中基于LSTM网络结构的Attention设计，即AP-BILSTM。传统的Attent...
详解Keras3.0 Layers API: Pooling layers （AveragePooling1D 、AveragePooling2D 、AveragePooling3D）
lymake的博客
12-16 1616
【代码】详解Keras3.0 Layers API: Pooling layers （AveragePooling1D 、AveragePooling2D 、AveragePooling3D）
深度解读UCR时间序列长度差异：影响模型表现的隐藏因素揭秘
# 时间序列长度差异的挑战与应对：从UCR数据集到深度模型演化 在智能家居设备日益复杂的今天，确保无线连接的稳定性已成为一大设计挑战。而当我们把目光投向更广泛的时间序列世界时，类似的“连接问题”也悄然浮现...
CLIP 改进工作串讲（下）【论文精读·42】
云淡风轻_的博客
01-29 1713
那首先作者先定义了一下问题，他说他现在的任务其实就是在一张白纸上，然后画几个这个曲线，也就他这里说的这种贝塞尔或者贝兹曲线。然后这些曲线当然都是随机初始化的，然后通过这种不停地训练，他希望这些曲线最后就变成了这个简笔画。那现在我们就来具体地看一下每一步是怎么完成的。首先我们说到了这个倍资曲线这个概念，倍资曲线其实是通过一系列的这个空间上二维的点控制的一个曲线。比如说你现在有这样的几个点，那它可能就定义了这么一个曲线。
NIN：Network in Network
空字符
12-15 681
1 前言 在上一篇文章中笔者介绍了一种可复用的网络模型VGG，在接下来的这篇文章中将向大家介绍另外一种网络模型“Network in Network，NiN（网络中的网络）”。这是一篇是新加坡国立大学2014年发表在顶会ICLR上的一篇论文[1]。笔者在写这篇文章之前其实也没有看过这篇论文，不过当笔者看完这篇论文后发现其动机真的不错，哪怕是放到现在笔者感觉也不会过时。下面就让我们一起来看看这篇论文。公众号后台回复“论文”即可获得下载链接！ 2 动机 笔者一直都认为，决定一篇论文的质量很大程度上会依赖于论文作
dilated conv带孔卷积、pooling层提高感受野 反卷积 的理解
jiachen0212的博客
11-16 2万+
首先放链接：https://www.zhihu.com/question/54149221 首先，初次接触这个问题是在做图像分割遇到的。 pooling为什么可以提高感受野？ 得这样理解：首先它第一个作用是降低feature map的尺寸，减少需要训练的参数；其次，因为有缩小的作用，所以之前的4个像素点，现在压缩成1个。那么，相当于我透过这1个点，就可以看到前面的4个点，这不就是把当前map
【理论知识】 2D 卷积、3D 卷积与 3D 池化
nmdbbzcl的博客
02-06 1906
卷积神经网络（Convolutional Neural Networks, CNNs）在计算机视觉、视频处理和医学影像分析等领域取得了显著的成功。卷积操作作为CNN的核心，主要包括二维卷积（2D Convolution）、三维卷积（3D Convolution）和三维池化（3D Pooling）。本文将系统地介绍2D卷积、3D卷积及3D池化的基本原理、数学公式、应用场景，并通过表格和示例详细比较这些操作的差异与优势，以帮助读者深入理解这些关键技术。
Attentive Pooling Networks论文讲解
Matrix_cc的博客
03-10 4146
这篇论文是做是一个做问答对匹配的模型，在多个回答里选出正确的那个答案，整篇论文相对简单。 之前的问答对匹配模型是将CNN或者BiLSTM提取后的特征向量相互做余弦相似度，这篇论文的创新是加上了Attention层和使用不同的pooling层，column-wise max pooling和row-wise max pooling 之前的模型是 本篇论文的模型是 Q和 A是问...
卷积神经网络——池化(pooling)的理解
qq_38331273的博客
12-02 2178
原文链接：https://www.cnblogs.com/booturbo/archive/2020/04/13/12693858.html 在训练卷积神经网络模型时，经常遇到max pooling和 averagepooling，近些年的图像分类模型多数采用了max pooling，为什么都是使用max pooling，它的优势在哪呢？ 一般情况下，max pooling的效果更好，虽然 max pooling和average pooling都对数据做了sampling，但是感觉max po...
池化方法总结（Pooling）
Daniel_djf的专栏
01-05 6万+
在卷积神经网络中，我们经常会碰到池化操作，而池化层往往在卷积层后面，通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。 为什么可以通过降低维度呢？ 因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值
深度学习笔记_基本概念_对Max Pooling的理解
惊鸿一博
08-17 6002
Max Pooling是什么 在卷积后还会有一个 pooling 的操作。 max pooling 的操作如下图所示：整个图片被不重叠的分割成若干个同样大小的小块（pooling size）。每个小块内只取最大的数字，再舍弃其他节点后，保持原有的平面结构得出 output。 注意区分max pooling（最大值池化）和卷积核的操作区别：池化作用于图像中不重合的区域（这与卷积操作不同） 这个图中，原来是4*4的图片。优于不会重合，所以filter的大小和步长stride是相等的，为2. 粉色区
对Max Pooling的理解
热门推荐
117瓶果粒橙
10-12 7万+
Max Pooling是什么 在卷积后还会有一个 pooling 的操作。 max pooling 的操作如下图所示：整个图片被不重叠的分割成若干个同样大小的小块（pooling size）。每个小块内只取最大的数字，再舍弃其他节点后，保持原有的平面结构得出 output。 注意区分max pooling（最大值池化）和卷积核的操作区别：池化作用于图像中不重合的区域（这与卷积操作不同） ...
池化 MaxPooling AveragePooling MeanPooling GlobalMaxPooling GlobalAveragePooling 区别
心之所向
03-11 1万+
MaxPooling AveragePooling 目的： 1、整合特征 2、减少参数 2、平移不变性 如上图使用的max pooling，当底层特征向右偏移一位时，由于max pooling 只关注较大值，可以看到上层特征变化不大。 上图中三个detector分别探测不同偏移方向的数字5，当探测到对应偏移的数字5时，相应的detector就会激活。而在detector上层的p...
keras使用入门及3D卷积神经网络资源
lengxiaomo123的博客
03-31 2万+
keras模型 Sequential模型泛型模型 Sequential是多个网络层的线性堆叠。      以通过向Sequential模型传递一个layer的list来构造该模型 Sequential模型方法 compilefitevaluatepredict 简单的keras代码演示： from keras.layers import
RoI Pooling是什么？
04-01
### RoI Pooling 的概念 RoI Pooling 是一种用于计算机视觉领域目标检测任务的技术，旨在解决不同尺寸区域映射到固定大小特征向量的问题。在深度学习框架中，尤其是基于区域的目标检测模型（如 Faster R-CNN），输入图像被划分为多个感兴趣区域 (Region of Interest, RoI)，这些区域可能具有不同的形状和比例。然而，后续的全连接层通常需要固定的输入维度，因此引入了 RoI Pooling 技术来统一输出大小。 具体来说，RoI Pooling 将任意大小的输入区域转换为固定大小的空间表示。这一过程通过将每个 RoI 划分成相同数量的小块并执行最大池化操作完成。例如，在给定的一个 RoI 中，将其分割成 \( H \times W \) 个小格子，并对每个小格子应用 max-pooling 操作以提取最具代表性的特征[^2]。 以下是 RoI Pooling 的核心计算逻辑： #### 输入参数 - **input**: 特征图张量，通常是卷积神经网络的最后一层输出。 - **rois**: 表示感兴趣区域的一组坐标集合，形式为 [batch_index, x1, y1, x2, y2]。 - **pooled_height 和 pooled_width**: 输出空间的高度和宽度。 #### 实现细节 假设我们有一个 RoI 定义如下： \[ \text{roi} = [\text{batch\_index}, x_1, y_1, x_2, y_2], \] 其中 \( (x_1, y_1) \) 和 \( (x_2, y_2) \) 分别是该区域左上角和右下角的坐标，则可以按照以下方式划分网格并进行池化处理[^4]: ```python import numpy as np def roi_pooling(input_data, rois, output_size=(7, 7)): """ Simulate the basic idea behind RoI Pooling. :param input_data: Feature map tensor from CNN layers. :param rois: List of regions of interest with format [batch_index, x1, y1, x2, y2]. :param output_size: Desired height and width after pooling operation. :return: Pooled feature maps corresponding to each ROI. """ pooled_features = [] for roi in rois: batch_idx, x_start, y_start, x_end, y_end = list(map(int, roi)) region = input_data[batch_idx, y_start:y_end, x_start:x_end] h_ratio = float(region.shape[0]) / output_size[0] w_ratio = float(region.shape[1]) / output_size[1] pooled_region = np.zeros(output_size) for i in range(output_size[0]): start_h = int(np.floor(i * h_ratio)) end_h = int(np.ceil((i + 1) * h_ratio)) for j in range(output_size[1]): start_w = int(np.floor(j * w_ratio)) end_w = int(np.ceil((j + 1) * w_ratio)) subregion = region[start_h:end_h, start_w:end_w] pooled_region[i][j] = np.max(subregion) pooled_features.append(pooled_region.flatten()) return np.array(pooled_features) ``` 上述代码展示了如何手动模拟 RoI Pooling 过程中的分块与最大池化步骤。对于每一个 RoI，它会依据指定的比例因子重新调整其内部结构，并最终返回标准化后的特征表达[^3]。 ### 总结 RoI Pooling 提供了一种有效的方法使得无论原始候选框有多大或多宽广，都能转化为一致的形式送入下游分类器或回归模块进一步分析。这种方法极大地简化了传统滑动窗口方法所带来的复杂度问题，同时也提高了整体系统的运行效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值