12种主要的Dropout方法:如何应用于DNNs,CNNs,RNNs中的数学和可视化解释

神经网络中的 Dropout 以及变体方法 点击上方蓝字,关注并星标,一起学习算法编程这是我的第 17 篇笔记,总共 6000 字,阅读大约需要 15 分钟Dropout 的学习笔记,主要参考文章:12种主要的Dropout方法:如何应用于DNNs,CNNs,RNNs中的数学和可视化解释【科普】神经网络中的随机失活方法1. 简介深度学习训练模型的一个主要挑战是协同适应,这意味着神经元之间是相互依赖的,也就是相对于输入它们还不够独立,而且经常会有一些神经元具有更重要的预测能力,这可能导致模型会过度依赖个别的神经元的输出。但这种情况应 阅读详情

作者:Axel Thevenot

编译:ronghuaiyang

导读

深入了解DNNs,CNNs以及RNNs中的Dropout来进行正则化,蒙特卡洛不确定性和模型压缩的方法。

动机

在深度机器学习中训练一个模型的主要挑战之一是协同适应。这意味着神经元是相互依赖的。他们对彼此的影响相当大,相对于他们的输入还不够独立。我们也经常发现一些神经元具有比其他神经元更重要的预测能力的情况。换句话说,我们会过度依赖于个别的神经元的输出。

这些影响必须避免,权重必须具有一定的分布,以防止过拟合。某些神经元的协同适应和高预测能力可以通过不同的正则化方法进行调节。其中最常用的是Dropout。然而,dropout方法的全部功能很少被使用。

取决于它是DNN,一个CNN或一个RNN,不同的dropout方法可以被应用。在实践中,我们只(或几乎)使用一个。我认为这是一个可怕的陷阱。所以在本文中,我们将从数学和可视化上深入到dropouts的世界中去理解:

  • 标准的Dropout方法

  • 标准Dropout的变体

  • 用在CNNs上的dropout方法

  • 用在RNNs上的dropout方法

  • 其他的dropout应用(蒙特卡洛和压缩)

符号

标准的Dropout

最常用的dropout方法是Hinton等人在2012年推出的Standard dropout。通常简单地称为“Dropout”,由于显而易见的原因,在本文中我们将称之为标准的Dropout。

为了防止训练阶段的过拟合,随机去掉神经元。在一个密集的(或全连接的)网络中,对于每一层,我们给出了一个dropout的概率p。在每次迭代中,每个神经元被去掉的概率为p。Hinton等人的论文建议,输入层的dropout概率为“p=0.2”,隐藏层的dropout概率为“p=0.5”。显然,我们对输出层感兴趣,这是我们的预测。所以我们不会在输出层应用dropout。

数学上,我们说每个神经元的丢弃概率遵循概率p的伯努利分布。因此,我们用一个mask对神经元向量(层)进行了一个元素级的操作,其中每个元素都是遵循伯努利分布的随机变量。

在测试(或推断)阶段,没有dropout。所有的神经元都是活跃的。为了补偿与训练阶段相比较的额外信息,我们用出现的概率来衡加权权重。所以神经元没有被忽略的概率,是“1 - p”。

DropConnect

也许你已经熟悉标准的Dropout方法。但也有很多变化。要对密集网络的前向传递进行正则,可以在神经元上应用dropout。L. Wan等人介绍的DropConnect没有直接在神经元上应用dropout,而是应用在连接这些神经元的权重和偏置上。

因此,我们找到了与标准Dropout方法相同的机制。除了掩码(它的元素是遵循一个分布的随机变量)不是应用在某一层的神经元向量上,而是应用在连接该层与前一层的权重矩阵上。

对于测试阶段,可以使用与标准Dropout方法相同的逻辑。我们可以乘以出现的概率。但这并不是L. Wan等人提出的方法。他们提出了一个很有趣的随机方法,即使在测试阶段也是如此,他们采用了DropConnect的高斯近似。然后由从这个高斯表示中随机采样样本。我们会在Standout之后回到高斯近似。

Standout

L. J. Ba和B. Frey介绍的Standout是一个标准的Dropout方法,基于一个Bernoulli mask(我将根据它们遵循的分布来命名这些mask,这样会更简单)。不同之处在于,神经元被遗漏的概率p在这一层中并不恒定。根据权重的值,它是自适应的。

这可以适用于任何g激活函数,甚至是一个单独的神经网络。类似地,对于Ws,可以是一个W的函数。然后在测试阶段,我们根据存在的可能性进行平衡。

例子

这样不是很清楚,我们举个例子。在他们的论文中,他们表明在实践中,置信网络的权值可以近似为权值的仿射函数。例如,我取s的绝对值作为激活函数。

因此,我们可以看到,权重越大,神经元被丢弃的概率就越大。这有力地限制了某些神经元可能具有的高预测能力。

Gaussian Dropout

应用于神经网络的dropout方法在继续增长。所以,在讨论DNNs以外的其他东西之前,我想先谈谈一种dropout方法,它当然是最吸引人的。

举几个例子,Fast Dropout, 变分Dropout或Concrete Dropout是从贝叶斯角度解释Dropout的方法。具体地说,我们没有使用伯努利mask,而是使用了一个mask,它的元素是遵循高斯分布的随机变量**(**正态分布)。我不会在这里演示大数定律,这不是重点。我们来直观地理解一下。

我们可以模拟一个伯努利mask,我们使用正态规律进行dropouts。但这有什么区别呢?什么都做,什么都不做。由于我们神经元的协同适应和/或预测能力,它不会改变这些方法与过拟合的相关性。但是,与之前的方法相比,它改变了训练阶段所需的执行时间。

逻辑上,通过在每次迭代中丢弃带有dropout的神经元,那些在迭代中丢弃的神经元在反向传播期间不会被更新。它们并不存在。所以训练阶段被“放慢”了。另一方面,通过使用Gaussian Dropout方法,在每次迭代和每个训练样本中,所有的神经元都暴露出来。这就避免了减速。

在数学上,有一个高斯mask的乘法(例如以1为中心的伯努利定律的标准差p(1-p))。通过在每次迭代中保持所有的神经元都是活跃的,从而随机地对其预测能力进行加权,从而模拟了dropout。这种方法的另一个实际优势集中在测试阶段,与没有dropout的模型相比,不需要进行任何修改。

Pooling Dropout

本文的“难”理解部分结束了。剩下的更直觉的部分可以给我们更好的性能。

图像和特征图的问题是像素非常依赖于它们的邻居。简单地说,在一张猫的图片上,如果你取一个与它的外表相对应的像素,那么所有邻近的像素都将与同样的外表相对应。两者几乎没有区别。

所以我们理解了标准Dropout方法的限制。我们甚至可以说它是低效的,它带来的唯一改变就是额外的计算时间。如果我们随机丢弃图像上的像素,那么几乎没有信息被删除。丢弃的像素几乎与它们的邻居相同。防止过拟合的性能很差。

为什么不利用CNNs中经常使用的的合适的层。例如最大池化层。最大池化层是一个过滤器,通过一个图片或(特征图)选择重叠区域的最大激活。

Max-Pooling Dropout是H. Wu和X. Gu提出的一种用于CNNs的Dropout方法。它在执行池化操作之前,直接将伯努利mask应用到最大池化层的内核上。直观地说,这允许对具有高激活的pooling结果最小化。这是一个限制某些神经元的高预测能力的很好的观点。在测试阶段,你可以根据出现的概率来确定前面方法的权重。

我们以最大池化层为例,但同样可以对其他池化层进行操作。例如,对于平均池化层,我们可以在训练阶段以同样的方式应用一个dropout。然后在测试阶段,没有变化,因为它已经是一个加权平均值了。

Spatial Dropout

对于CNNs,我们可以利用池化层。但是我们也可以更聪明地遵循J. Tompson等人提出的Spatial Dropout方法。他们提出用经典的dropout方法来解决这个问题,因为相邻像素高度相关。

我们可以不去随机应用一个dropout在像素上,我们可以考虑把dropout应用在每个特征图上。如果我们以我们的猫为例,那么这就像从图像中移除红色通道并强迫它去总结图像中的蓝色和绿色通道。然后在下一次迭代中随机放置其他特征图。

我不知道如何用数学正确地书写,使它易于理解。但是如果你理解了前面的方法,你就不会有任何问题。在训练阶段,对每个feature map应用Bernoulli mask,其丢弃概率为p。然后在测试阶段,没有dropout,只有一个概率为1-p的加权。

Cutout

让我们进一步了解我们的方法,以克服相邻像素高度相关的事实。不是对每个特征图应用伯努利mask,我们可以在不同的区域中应用。这就是T. DeVries和G. W. Taylor提出的Cutout方法。

最后以我们的猫图像为例:该方法可以通过对图像的隐藏区域进行泛化从而限制过拟合。我们最后看到的是猫的头丢弃掉的画面。这迫使CNN了解到可以描述猫的不太明显的属性。

同样,在本节中没有数学。这种方法很大程度上依赖于我们的想象力:正方形、长方形、圆形,在所有的特征图上,一次在一个特征图上,或者可能在几个特征图上……这取决于你。????

Max-Drop

最后,为了结束关于CNNs的这一节,我必须指出,很明显,几个方法可以进行组合。当我们知道了不同的方法时,这就是使我们强大的原因:我们可以同时利用他们的好处。这是S. Park和N. Kwak提出的Max-Drop方法。

这种方法在某种程度上是化dropout和高斯dropout的混合。dropout是在最大池化层上执行的,但使用的是贝叶斯方法。

在他们的论文中,他们表明这种方法给出的结果与 Spatial Dropout一样有效。除此之外,在每次迭代中,所有的神经元都保持活跃,这限制了训练阶段的减速。这些结果都是用µ = 0.02和σ² = 0.05的数据得到的。

RNNDrop

我们已经看到了一些DNNs和CNNs的dropout的方法。一些研究还试图找出哪些方法对递归神经网络是有效的。它们通常依赖于LSTMs,所以我将以RNNs为例。它可以推广到其他的RNNs。

问题很简单:在RNN上应用dropout是危险的。RNN的目的是长期保存事件的记忆。但传统的dropout方法效率不高,因为它们会产生噪音,阻止这些模型长期保存记忆。下面这些方法可以长期保存记忆。

T. Moon等人提出的RNNDrop是最简单的方法。一个伯努利mask只应用于隐藏的单元格状态。但是这个掩码从一个序列到另一个序列保持不变。这称为dropout的逐序列采样。它只是意味着在每个迭代中我们创建一个随机掩码。然后从一个序列到另一个序列,这个掩码保持不变。所以被丢弃的元素一直被丢弃而留下来的元素一直留着。所有的序列都是这样。

循环Dropout

S. Semeniuta等人提出的循环Dropout是一个有趣的变体。单元格状态保持不变。dropout只应用于更新单元格状态的部分。所以在每次迭代中,伯努利的mask使一些元素不再对长期记忆有贡献。但是记忆并没有改变。

变分RNN dropout

最后,简单而有效的,由Y. Gal和Z. Ghahramani介绍的RNN Dropout是在internal gates前的基于序列的Dropout的应用。这将导致LSTM在不同的点进行dropout。

打开我们的思路

还有很多不同的dropout方法,但我们将在这里停下来。我发现非常有趣的是,Dropout方法不仅仅是正则化的方法。

Monte Carlo Dropout

Dropout方法也可以提供一个模型不确定性的指标。让我解释一下。对于相同的输入,经历了dropout的模型在每次迭代中会有一个不同的架构。这将导致输出中的方差。如果网络是相当广义的,并且协同适应是有限的,那么预测是在整个模型中分布的。这将导致在每次迭代中使用相同的输入时输出的方差降低。研究这个方差可以给出一个可以分配给模型的置信度的概念。这可以从Y. Gal和Z. Ghahramani的方法中看出。

模型压缩

最后,直观地,通过随机应用dropouts,我们可以看到给定神经元对预测是否有效。根据这个观察结果,我们可以通过减少参数的数量来压缩模型,同时最大限度地降低性能的损耗。K. Neklyudov等人提出了利用变分dropout来剪枝DNNs和CNNs的方法。

—END—

英文原文:https://towardsdatascience.com/12-main-dropout-methods-mathematical-and-visual-explanation-58cdc2112293

深度学习Dropout技术分析 深度学习Dropout技术分析 什么是Dropout? dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一个大杀器,但对于其为何有效,却众说纷纭。在下读到两篇代表性的论文,代表两种不同的观点,特此分享给大家。 从神经网络的难题出发,一步一步引出dropout为何有效的解释。大规模的神经网络有两个缺点: 1)费时 2 阅读详情

相关推荐

Dropout技术一览:可视化解释以及在DNN/CNN/RNN中的应用

导读:深入了解DNNs,CNNs以及RNNs中的Dropout来进行正则化,蒙特卡洛不确定性和模型压缩的方法。 动机在深度机器学习中训练一个模型的主要挑战之一是协同适应。这意味着神经元是相互依赖的。他们对彼此的影响相当大,相对于他们的输入还不够独立。我们也经常发现一些神经元具有比其他神经元更重要的预测能力的情况。换句话说,我们会过度依赖于个别的神经元的输出。这些影响必须避免,权重必须具有一定...

lvlei19911108的博客 449

关于CNN中dropout的一些要点

dropout层的作用是防止训练的时候过拟合。在训练的时候,传统的训练方法是每次迭代经过某一层时,将所有的结点拿来做参与更新,训练整个网络。加入dropout层,我们只需要按一定的概率(retaining probability)p 来对weight layer 的参数进行随机采样,将被采样的结点拿来参与更新,将这个子网络作为此次更新的目标网络。这样做的好处是,由于随机的让一些节点不工作了,因此可...

刀刀鱼 5022

【开关电源】开关电源实战经验分享

开关电源原理设计、Layout设计经验分享

weixin_42098658的博客 4173

机器(深度)学习中的 Dropout

在这篇文章[1]中,我将主要讨论神经网络中 dropout 的概念,特别是深度网络,然后进行实验,通过在标准数据集上实施深度网络并查看 dropout 的影响,看看它在实践中实际影响如何。 1. Dropout是什么? ★ 术语“dropout”是指在神经网络中丢弃单元(包括隐藏的和可见的)。 ” 简单来说,dropout 是指随机选择的某组神经元在训练阶段忽略单元(即神经元)。 “忽略”是指在特定的前向或后向传递过程中不考虑这些单元。 详细的就是,在每个训练阶段,单个节点要么以 1-p 的概率退出网络,

冷冻工厂 1831

用Python搞定超效率SBM模型:从数据清洗到结果可视化全流程指南

本文详细介绍了如何使用Python实现超效率SBM模型,从数据清洗到结果可视化的全流程指南。超效率SBM模型作为传统DEA的进化版本,能有效处理非期望产出(如环境污染)并对高效单元进行精细排序。通过实战案例和代码示例,帮助读者掌握这一先进模型的Python实现技巧,提升效率评估的准确性和可视化效果。

silver的专栏 654

Frida Stalker实战:如何用指令级追踪破解OLLVM混淆的AES算法

本文深入探讨了如何使用Frida Stalker进行指令级追踪,破解经过OLLVM混淆的AES算法。通过动态分析技术,逆向工程师可以精准识别控制流平坦化等混淆手段,还原算法逻辑,特别适用于移动安全领域的加密算法分析。文章提供了详细的配置指南、核心机制解析和实战案例,帮助读者掌握对抗高级代码混淆的有效方法。

weixin_29325955的博客 479

机器学习——Dropout原理介绍

**Dropout原理介绍** bp神经网络

AIGC | 智能洞察,创造未来 2万+

基于DFT的mbist sdc模板(DFT)

摘要:本文详细介绍了DFT测试模式下的SDC约束方法。

murphyrong的博客 926

卷积神经网络(CNN)中Dropout层的作用是

Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作,不工作的那些节点可以暂时认为不是网络结构的一部分,但是它的权重得保留下来(只是暂时不更新而已),因为下次样本输入时它可能又得工作了。 训练神经网络模型时,如果训练样本较少,为了防止模型过拟合,Dropout可以作为一种trikc供选择。 ...

谷雨的博客 1万+

【个人学习总结】CRC校验原理及实现

CRC即循环冗余校验码(Cyclic Redundancy Check):是数据通信领域中最常用的一种查错校验码,其特征是信息字段和校验字段的长度可以任意选定。循环冗余检查(CRC)是一种数据传输检错功能,对数据进行多项式计算,并将得到的结果附在帧的后面,接收设备也执行类似的算法,以保证数据传输的正确性和完整性。 ..................

星Yeah 的博客 7968

支付域——“清算、结算、清结算”

本文深入探讨了支付系统中的清算和结算流程,包括核心流程、模块设计及特殊场景处理。文章详细阐述了交易收单、资金冻结、清分规则、清算批处理、结算出账等关键步骤,并讨论了交易失败、数据不一致、退款、汇率波动等异常情况的处理方法。

庄小焱 2567

经验之谈|别再在CNN中使用Dropout了

https://www.toutiao.com/a6706824560953524740/ 作者:Harrison Jansma编译:ronghuaiyang 我注意到有很多关于学习深度学习和将什么是深度学习的资源。但是不幸的是,等到真正需要做一个模型的时候,解释如何去做,何时去做的资源又很少。 我写这篇文章的目的是为了那些尝试去实现深度学习的人,这样你就不必像我一样去看原始...

喜欢打酱油的老鸟 1万+

手把手教你学 GPU KMD”相关内容的专栏简介与目录

本专栏系统讲解GPU内核模式驱动(KMD)开发技术,涵盖四大核心模块:1)GPU驱动架构基础,解析UMD/KMD协同机制;2)KMD核心功能,包括内存管理、命令提交、中断处理等;3)底层硬件交互,详解PCIe/DMA传输、多级页表等;4)实战进阶,结合Linux DRM框架代码分析,探讨GPU虚拟化与性能优化。面向具备OS和C语言基础的开发者,提供从理论到实践的完整学习路径,帮助深入理解图形/计算驱动栈的底层实现原理。

amy_mhd的博客 154

12中主要的Dropout方法:如何应用于DNNs,CNNs,RNNs中的数学和可视化解释

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”作者:Axel Thevenot编译:ronghuaiyang导读深入了解DNNs,CNNs以及RNNs中的Dropout来进行...

AI公园 855

(9)用于无GPS导航的 Optitrack

Ardupilot官网关于《Non-GPS navigation》的翻译 —《(9) 用于无GPS导航的 Optitrack》。

无人机开发(开源Ardupilot) 3109

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

12种主要的Dropout方法:用于DNNs,CNNs,RNNs中的数学和可视化解释

深入了解DNNs,CNNs以及RNNs中的Dropout来进行正则化,蒙特卡洛不确定性和模型压缩的方法。动机在深度机器学习中训练一个模型的主要挑战之一是协同适应。这意味着神经元是相互依赖...

Datawhale 1503

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

12种Dropout方法:应用于DNNs,CNNs,RNNs中的数学和可视化解释

2020-06-30 13:41:41 作者:Axel Thevenot 编译:ronghuaiyang 导读 深入了解DNNs,CNNs以及RNNs中的Dropout来进行正则化,蒙特卡洛不确定性和模型压缩的方法。 动机 在深度机器学习中训练一个模型的主要挑战之一是协同适应。这意味着神经元是相互依赖的。他们对彼此的影响相当大,相对于他们的输入还不够独立。我们也经常发现一些神经元具有比其他神经元更重要的预测能力的情况。换句话说,我们会过度依赖于个别的神经元的输出。 这些影响必.

喜欢打酱油的老鸟 698

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

12种Dropout方法,如何应用与CNN,RNN,DNN

作者:Axel Thevenot 编译:ronghuaiyang 转载自:AI公园 导读 深入了解DNNs,CNNs以及RNNs中的Dropout来进行正则化,蒙特卡洛不确定性和模型压缩的方法。 动机 在深度机器学习中训练一个模型的主要挑战之一是协同适应。这意味着神经元是相互依赖的。他们对彼此的影响相当大,相对于他们的输入还不够独立。我们也经常发现一些神经元具有比其他神经元更重要的预测能力的情况。换句话说,我们会过度依赖于个别的神经元的输出。 这些影响必须避免,权重必须具有一定的分.

AllenMa的博客 853

Dropout

来一起深入了解DNNs,CNNs以及RNNs中的Dropout来进行正则化,蒙特卡洛不确定性和模型压缩的方法。在深度机器学习中训练一个模型的主要挑战之一是协同适应。这意味着神经元是相互依赖的。他们对彼此的影响相当大,相对于他们的输入还不够独立。我们也经常发现一些神经元具有比其他神经元更重要的预测能力的情况。换句话说,我们会...

weixin_41157538的博客 211

学习笔记4——Dropout、Cutout、DropBlock正则化

1、Dropout 为了防止训练阶段的过拟合,随即去掉神经元(完全随机扔),如下图所示: 2、DropConnect 没有连接在神经元上应用dropout,而是应用在连接这些神经元的权重和偏置上,(只在连接处扔,神经元不扔),如下图所示: 3、Spatial Dropout (按channel随即扔) 4、Cutout 在图像中随机选取一个点作为中心点,覆盖一个固定大小的方形(在输入层上按spatial块随即扔) ...

daige123的博客 3755
上一篇: 你还弄不懂的傅里叶变换,神经网络只用了30多行代码就学会了
下一篇: 和导师的微信聊天翻车现场,你一定经历过
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值