宝,我看尽了池化。什么化?为你画地为牢的画

池化(Pooling)的种类与具体用法——基于Pytorch 池化的种类、原理与基于Pytorch的具体用法 阅读详情

 简介

    池化Pooling是卷积神经网络中常见的一种操作,Pooling层是模仿人的视觉系统对数据进行降维,其本质是降维。在卷积层之后,通过池化来降低卷积层输出的特征维度,减少网络参数和计算成本的同时,降低过拟合现象。

池化Pooling

01


最大/平均池化

Max/Average Pooling

    最大池化(Max Pooling)是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。即,取局部接受域中值最大的点。同理,平均池化(Average Pooling)为取局部接受域中值的平均值。

02


全局池化Global Pooling

    Global Pooling就是Pooling的滑窗size和整个Feature Map的size一样大。在滑窗内的具体pooling方法可以是任意的,所以就会被细分为Global Average Pooling,Global Max Pooling等。

03


随机池化Stochastic pooling

    Stochastic pooling是论文《Stochastic Pooling for Regularization of Deep Convolutional Neural Networks》中提到的一种池化策略,大意是只需对特征区域元素按照其概率值大小随机选择,元素值大的被选中的概率也大。

04


Mix Pooling

    Mix Pooling是同时利用最大值池化Max Pooling与均值池化Average Pooling两种的优势而引申的一种池化策略。常见的两种组合策略:拼接Cat与叠加Add。

05


Soft Pool

    SoftPool是一种变种的Pooling,它可以在保持池化层功能的同时尽可能减少池化过程中带来的信息损失。上图展示了SoftPool操作的Forward阶段与Backward阶段,6*6大小的区域表示的是激活映射a。

06


Local Importance-based Pooling

    Local Importance-based Pooling提出通过一个基于输入特征的子网络自动学习重要性。它能够自适应地确定哪些特征更重要,同时在采样过程中自动增强识别特征。具体思路是,在原feature map上学习一个类似于attention的map,然后和原图进行加权求平均。需要说明的是,这里采样的间隔其实还是固定的,不符合上述描述的第一条,但是作者认为,由于importance是可变,从而实现变形的感受野。

07


S3Pool

    S3Pool提出一种随机位置池化策略,集成了随机池化Stochastic Pooling与最大值池化Max Pooling。

08


图池化

    图池化是基于条件随机场的,它是将图池化视为一个节点聚类问题,并使用CRF在不同节点的分配之间建立关系。并通过结合图拓扑信息来推广这个方法,使得图池化可以控制CRF中的成对团集。

09


ROI Pooling

    Region of Interest Pooling是在目标检测任务中广泛使用的操作。它对于来自输入列表的每个感兴趣区域,它采用与其对应的输入特征图的一部分并将其缩放到某个预定义的大小。这可以显着加快训练和测试时间,它允许重新使用卷积网络中的特征映射,同时也允许以端到端的方式训练物体检测系统。

参考资料

  • https://arxiv.org/pdf/1611.05138.pdf

  • https://arxiv.org/pdf/1301.3557.pdf

  • https://arxiv.org/pdf/2101.00440.pdf

  • https://arxiv.org/pdf/1908.04156.pdf

  • https://openreview.net/pdf?id=BJxg_hVtwH

  • https://deepsense.ai/region-of-interest-pooling-explained/

  • https://arxiv.org/abs/2009.07485


觉得还不错就给我一个小小的鼓励吧!


池化方法总结(Pooling) 在卷积神经网络中,我们经常会碰到池化操作,而池化层往往在卷积层后面,通过池化来降低卷积层输出的特征向量,同时改善结果(不易出现过拟合)。 为什么可以通过降低维度呢? 因为图像具有一种“静态性”的属性,这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此,为了描述大的图像,一个很自然的想法就是对不同位置的特征进行聚合统计,例如,人们可以计算图像一个区域上的某个特定特征的平均值 阅读详情

相关推荐

炼丹侠必知的9大池化操作​汇总

池化Pooling是卷积神经网络中常见的一种操作,Pooling层是模仿人的视觉系统对数据进行降维,其本质是降维。在卷积层之后,通过池化来降低卷积层输出的特征维度,减少网络参数和计算成本的同时,降低过拟合现象。最大池化(Max Pooling)是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。即,取局部接受域中值最大的点。同理,平均池化(Average Pooling)为取局部接受域中...

炼丹笔记 1293

卷积神经网络---详解卷积运算、池化操作(Pooling)

图像在计算机中的本质是卷积运算中多通道(例如64通道)与颜色无关,指的是每个特征图所提取的特征所提取的特征。

weixin_49145300的博客 6135

[cv] 池化(最大池化Maxpool、平均池化Averagepool、随机池化randpool)与反池化

池化的定义比较简单,最直观的作用便是降维,常见的池化有最大池化、平均池化和随机池化。 池化层不需要训练参数。 1、 三种池化:最大池化Maxpool、平均池化Average_pool、随机池化randpool 最大池化是对局部的值取最大;平均池化是对局部的值取平均;随机池化是根据概率对局部的值进行采样,采样结果便是池化结果。概念非常容易理解,其示意图如下所示: 其中随机池化 1/(1+3+4) 4/8 0 3/8得到 2、三种池化的意义 (1)最大池化可以获取局部信息,可以更好保留纹理上的特征。如果不用观

心宝的博客 1万+

池化的几种方法 学习笔记 (附代码)

池化的几种方法 学习笔记 (附代码)

PLANTTHESON的博客 1万+

【综述】CNN中的池化操作-你见过的没见过的池化这里都有

池化操作(Pooling)是CNN中非常常见的一种操作,Pooling层是模仿人的视觉系统对数据进行降维,池化操作通常也叫做子采样(Subsampling)或降采样(Downsampling),在构建卷积神经网络时,往往会用在卷积层之后,通过池化来降低卷积层输出的特征维度,有效减少网络参数的同时还可以防止过拟合现象。 主要功能有以下几点: 抑制噪声,降低信息冗余 提升模型的尺度不变性、旋转不变形...

pprp的博客 3435

总结所有的池化(Pooling)方法

为什么池化? 池化(Pooling)层和卷积层、全连接层一样,都是卷积神经网络的组成部分。 卷积神经网络中的卷积层会将卷积Filter应用于输入图像,以便创建特征映射来总结输入中这些特征的存在。 卷积层被证明是非常有效的,在深层模型中叠加卷积层可以让接近输入的层学习低层特征(如线条),在模型中更深(高)的层用于学习高阶或者更抽象的特征,如形状或特定对象。 卷积层特征映射输入的一个局限性是它们只能精确记录特征在输入层的位置。这意味着在输入图像中特征位置的小幅移动将导致不同的特征映射。这可以随着重新裁剪

大脸猫的博客 1万+

池化层详细介绍

常见的池化层 它实际上是一种形式的降采样。有多种不同形式的非线性池化函数,而其中“最大池化(Max pooling)”是最为常见的。它是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。直觉上,这种机制能够有效地原因在于,在发现一个特征之后,它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小,因此参数的数量和计算量也会下降,这在一定程度上也控制了过拟合。...

Chen_Swan的博客 11万+

tensorflow 关于池化和反池化的理解, my write

pooling的结果是使得数据特征减少,参数减少,加快计算速度。但pooling的目的并不仅在于此。pooling目的是为了保持某种不变性(旋转、平移、伸缩等)

小硕算法工程师 1328

pytorch中池化函数详解

PyTorch 提供了多种池化函数,用于对输入数据进行不同类型的池化操作,包含平均池化、最大池化、全局池化等

十年以上架构设计经验,专注于软件架构和人工智能领域,对机器视觉、NLP、音视频等领域都有涉猎 3611

比空间池化更好的条带池化方法

本文由新加坡国立大学,Oxford,南开大学联合提出。 背景:空间池化在捕获用于场景分析等像素级预测任务的远程上下文信息方面非常有效。 传统池化:规则形状N×N的常规空间池化 本文的方法:引入一种称为条带池化的新池化策略来重新考虑空间池化的公式,该策略考虑了一个长而窄的核,即1×N或 N×1。 本文基于条带池化,通过以下步骤研究空间池化体系结构设计: 1)引入一种新的条带池化模块,该模块使骨干网络可以有效地对远程依赖进行建模 2)提出了一个以各种空间池化为核心的构建块 3)比较条带池化和常规空间池化技术的.

AI算法后丹修炼炉 2018

综述:最大池化,平均池化,全局最大池化和全局平均池化?区别原来是这样

综述:最大池化,平均池化,全局最大池化和全局平均池化?区别原来是这样

MrCharles在优快云 6万+

池化

池化 在通过卷积层获得特征(feature map) 之后 ,下一步要做的就是利用这些特征进行整合、分类。理论上来讲,所有经过卷积提取得到的特征都可以作为分类器的输入(比如 softmax 分类器) ,但这样做会面临着巨大的计算量. 比如对于一个 300X300 的输入图像(假设只有一个通道) ,经过 100个 3X3 大小的卷积核进行卷积操作后,得到的特征矩阵大小是 (300 -3+...

森宝的博客 2万+

语音增强评价指标全解析:从MOS到eSTOI的实战指南

本文全面解析了语音增强领域的核心评价指标,包括主观评价的黄金标准MOS,以及PESQ、STOI、eSTOI等关键客观指标。文章详细阐述了各指标的原理、适用场景与实战计算方法,并提供了Python代码示例,旨在帮助开发者和研究者建立科学的评估体系,以平衡语音可懂度与音质,从而优化算法效果。

yhn456789的博客 1201

池化层的作用总结:

池化层的作用总结: 在卷积神经网络中通常会在相邻的卷积层之间加入一个池化层,池化层可以有效的缩小参数矩阵的尺寸,从而减少最后连接层的中的参数数量。所以加入池化层可以加快计算速度和防止过拟合的作用。 池化的原理或者是过程:pooling是在不同的通道上分开执行的(就是池化操作不改变通道数),且不需要参数控制。然后根据窗口大小进行相应的操作。 一般有max pooling、average poolin...

weixin_42193719的博客 8万+

Cadence17.2 > OrCAD Capture CIS > 设计规则检查(Design Rule Check)DRC学习记录详解

选中设计完成的DSN文件,选择Tool->Design Rule Check,弹出下面对话框,详解如下。 一、Design Rule Check对话框选项详解 Design Rules Options tab Set the scope, mode and type of design rule (electrical and / or physical) test options for the design rules check. 为

DL_62532的专栏 1万+

基于LabVIEW控制仪器检测与监控 --普源示波器DS1102Z-E

LabVIEW 控制普源示波器 代码实现与解释

s0101100的博客 4236

CNN池化总结(最大池化与平均池化)

池化操作会减少特征图的细节信息,因此在某些情况下可能会导致信息丢失。在最新的研究中,有些模型在某些层次上已经开始避免使用池化操作,而是采用卷积操作来进行降维和尺寸缩减。这些新的方法通常被称为"strided convolutions"(步幅卷积)或"convolutional stride"(卷积步幅),它们在一定程度上取代了传统的池化操作。这些新方法的目标是通过卷积操作同时实现特征提取和尺寸缩减的效果,以避免信息丢失。

m0_62919535的博客 2万+

wincc 服务器授权型号,WinCC V7.5 SP1软件安装及授权方法

上篇教程给大家介绍了TIA Portal V16 安装方法,今天分享一下WinCC V7.5 SP1。目前V7.5 SP1是WinCC最新的版本,发布时间2019年11月13日。先放一个官网对WinCC V7.5 的介绍视频,感兴趣的可以先看一下。1、软件下载官网下载链接:https://support.industry.siemens.com/cs/document/109772879五个文件下...

weixin_39956110的博客 1万+

卷积神经网络——池化层学习——最大池化

池化层(Pooling layers) 除了卷积层,卷积网络也经常使用池化层来缩减模型的大小,提高计算速度,同时提高所提取特征的鲁棒性,我们来看一下。 先举一个池化层的例子,然后我们再讨论池化层的必要性。 假如输入是一个4×4矩阵,用到的池化类型是最大池化(max pooling)。 执行最大池化的树池是一个2×2矩阵。 执行过程非常简单,把4×4的输入拆分成不同的区域,我把这个区域用不同颜色来标...

Alex 5万+

Hypermesh到Abaqus CEL网格转换全攻略:解决欧拉体导入难题

本文详细解析了Hypermesh到Abaqus CEL网格转换的全流程,重点解决欧拉体导入难题。通过单元类型转换、INP文件编辑和多组件合并技术,实现流固耦合仿真的高效前处理。文章包含实用脚本和工程案例,帮助工程师突破ABAQUS CEL分析中的网格转换瓶颈。

weixin_30832143的博客 193

【5G NB-IoT NTN】3GPP R17 NB-IoT NTN介绍_nbiot ntn

在3GPP R17协议中,将NB-IoT集成到了NTN(非陆地网络,即卫星通信)中,并定义了一个系统架构。在这个架构中包括一个可配置再生payload的低轨道(LEO)卫星,这意味着该卫星可以执行传统基站的全部或部分功能。该系统架构还可以适配同步轨道(GEO)卫星,这些卫星与LEO卫星类似,也可以配置再生payload。系统高度范围轨道波束覆盖范围LEO300~1500km绕地球转100~1000kmGEO35786km与地球自转同步200~3500km。

2401_84010302的博客 3570

一文弄懂各大池化Pooling操作

池化Pooling是卷积神经网络中常见的一种操作,Pooling层是模仿人的视觉系统对数据进行降维,其本质是降维。在卷积层之后,通过池化来降低卷积层输出的特征维度,减少网络参数和计算成本的同时,降低过拟合现象。最大池化(Max Pooling)是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。即,取局部接受域中值最大的点。同理,平均池化(Average Pooling)为取局部接受域中...

炼丹笔记 2816

IPV6基本配置

IPV6配置,DHCPV6,华为模拟器,IPV6的M/O标志位

路漫漫其修远兮 4668

关于池化和反池化的理解

文章目录一、池化1.1 什么是池化?1.2 池化的分类1.3 池化的特点1.3 池化的意义1.4 其它池化方式1.5 池化和卷积的比较1.6 卷积和池化的组合使用二: 反池化2.1 反平均池化2.2 反最大池化 一、池化 1.1 什么是池化?        pooling的结果是使得数据特征减少,参数减少,加快计算速度。但pooling的目的并不仅在于此。pooling目的是为了保持某种不变性(旋转、平移、伸缩等) 1.2 池化的分

liu1073811240的博客 3906

MATLAB与图像处理(一):图像中结构张量的求法(Structure Tensor)

1.结构张量的作用:       能够区分图像中的平坦区域,边缘,角点; 2.图像中的结构张量的定义    1)是一个矩阵;    2)与图像的水平,垂直梯度有关,定义如下: 在MATLAB中,可以用如下语句求解:[Ix,Iy]=gradient(Image); 3)求出结构张量矩阵的行列式,和迹(矩阵对角线之和)   行列式:K=det(E);   迹:  

wenyusuran的专栏 5242

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

池化(下采样)是什么?图像池化与卷积的区别

什么是池化 池化层也称下采样层,会压缩输入的特征图,一方面减少了特征,导致了参数减少,进而简化了卷积网络计算时的复杂度;另一方面保持了特征的某种不变性(旋转、平移、伸缩等)。 池化操作主要有两种,一种是平均池化(Average Pooling),即对邻域内的特征点求平均;另一种是最大池化(Max Pooling),即对邻域内的特征点取最大。 池化方法特征提取误差主要来自两个部分:一是,邻域大小受限...

Dontla的博客 1万+

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

上一篇: 可视化不好看还谈何可视化?谈一谈Pandas可视化如何更直观!!
下一篇: 继Alpha围棋之后,快手DouZero来斗地主了
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值