深度学习中Dropout策略

最新推荐文章于 2025-09-26 18:12:25 发布
原创 最新推荐文章于 2025-09-26 18:12:25 发布 · 3.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了深度学习中Dropout策略的两种实现方式，一种是在训练时对保留的单元进行缩放并乘以1/keep_prob，测试时不作处理；另一种是训练时不缩放，测试时乘以保留概率p。这两种方法在适当调整学习率和权重初始化时等效。 Dropout的使用有助于防止过拟合，并强调阅读原始论文的重要性。

在写系统时候遇到一个问题：模仿的版本在测试阶段，把所有权重乘以一个保留概率（做法1）。而GJH他看的Keras里面测试阶段什么都不做（做法2），所以比较好奇，怎么做法不同？


但是随手搜了几个中文博客，都是按做法1来的，训练阶段按保留概率随机生成一个保留矩阵(元素要么0-丢弃，要么1-保留)，然后测试阶段所有权重乘以保留概率。


在回头看TensorFlow的Dropout函数https://www.tensorflow.org/api_docs/python/tf/nn/dropout，怎么涉及一个scale操作，懵了：

With probability keep_prob, outputs the input element scaled up by 1 / keep_prob, otherwise outputs 0. The scaling is so that the expected sum is unchanged.


Google了下，找到类似的疑惑提问：

最低0.47元/天 解锁文章
【Python深度学习】零基础掌握Dropout Layers 6种方法
Mr数据杨
12-09 1143
通过对PyTorch中各种Dropout Layers的探索，可以看到这些方法如何在模型训练中扮演着重要角色。它们通过随机“遗忘”一部分信息，帮助模型更加健壮，避免过度拟合现象，这就像是在复杂的决策过程中学会放弃某些细节，从而获得更广泛的视野和适应性。这种技术不仅在技术层面上有其独到之处，而且在实际应用中也展现出了极大的潜力，无论是在医疗诊断、金融预测，还是在其他需要深度学习的领域。
Dropout理解-原理，实现，优缺点
DaringTang的博客
05-07 1万+
一，为何提出dropout？ 在机器学习或者深度学习中，经常出现的问题是，训练数据量小，模型复杂度高，这就使得模型在训练数据上的预测准确率高，但是在测试数据上的准确率低，这时就是出现了过拟合。 为了缓解过拟合，可采用的方法有很多，其中一种就是集成，通过训练多个模型，采用“少数服从多数”的策略决定最终的输出，但同时这个方法有一个很明显的缺点–训练时间长。 因此，dropout的提出主要基于以下两点：...
dropout策略及python实现
十三
10-31 2041
1 原理 《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》 在神经网络的训练过程中，对于一次迭代中的某一层神经网络，先随机选中一些神经元并将其临时隐藏(丢弃)，然后再进行本次训练和优化。在下一次迭代中，继续随机隐藏一些神经元，如此直至训练结束。由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。 在训练时，每个神经单元以概率ppp被保留(Dropout丢弃率为1−p1-p1−p)；在预测阶段（测试阶段），每个
浅谈Dropout
博观而约取，深研而广求
08-25 1万+
在全连接网络部分，Dropout这一超参得到了较为广泛的应用，同时取得了不错的效果。下面就来简单地谈谈Dropout。什么是Dropout我们知道，典型的神经网络其训练流程是将输入通过网络进行正向传导，然后将误差进行反向传播。Dropout就是针对这一过程之中，随机地删除隐藏层的部分单元，进行上述过程。综合而言，上述过程可以分步骤为： 随机删除网络中的一些隐藏神经元，保持输入输出神经元不变； 将输入
大模型基础 | dropout机制
最新发布
pk3725069的博客
09-26 1191
Dropout机制摘要 Dropout是一种有效的神经网络正则化技术，通过随机"丢弃"部分神经元(概率p)来防止过拟合。其核心原理包括：1)作为模型集成方法，训练多个子网络；2)减少神经元依赖，增强特征鲁棒性。训练时需引入1/(1-p)的缩放因子保持期望一致，但会增大方差。AlphaDropout通过仿射变换调整丢弃值，保持数据统计特性。这种机制简单高效，能显著提升模型泛化能力。
关于深度学习中Dropout的理解
zjm750617105的专栏
05-04 1万+
原文链接:  http://www.cnblogs.com/tornadomeet/p/3258122.html Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种
dropout层_深度学习中Dropout原理解析
weixin_39909212的博客
11-25 2330
目录：1. Dropout简介1.1 Dropout出现的原因1.2 什么是Dropout2. Dropout工作流程及使用2.1 Dropout具体工作流程2.2 Dropout在神经网络中的使用3. 为什么说Dropout可以解决过拟合4. Dropout在Keras中源码分析1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练...
DeepLearning（基于caffe）优化策略（2）--防拟合篇：Dropout
龙王Black的博客
06-02 2223
DeepLearning，甚至机器学习，都或多或少的会出现过拟合的现象。防止过拟合，就成为了一个大家普遍关注的话题。       过拟合的原因，大致分为这几种：数据量过小、数据有噪声、学习的网络模型更复杂（例如：本来是二次的方程，如果过于拟合成三次甚至更高，导致训练的loss特别小，测试时则不然，会比较大）。
深度学习中Dropout原理解析
热门推荐
Microstrong
06-19 31万+
1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问题，一...
深度学习-Dropout详解
Tc、zyh的博客
11-26 1万+
文章目录前言1、什么是Dropout2、Dropout的数学原理3、Dropout是一个正则网络4、CNN的Dropout5、Dropout的变种5.1 高斯Dropout6、总结 前言 Dropout是深度学习中被广泛的应用到解决模型过拟合问题的策略，相信你对Dropout的计算方式和工作原理已了如指掌。这篇文章将更深入的探讨Dropout背后的数学原理，通过理解Dropout的数学原理，我们可以推导出几个设置丢失率的小技巧，通过这篇文章你也将对Dropout的底层原理有更深刻的了解。同时我们也将对Dro
深度学习LSTM模型与高级Dropout技术在PyTorch中的实现
12-31
适合人群：从事深度学习研究或应用的开发者和技术人员，尤其是对 LSTM 和 PyTorch 领域感兴趣的读者。 使用场景及目标：帮助开发者快速掌握如何利用 PyTorch 构建多层 LSTM 网络并实施自定义 dropout 策略的技术细节...
深度学习中dropout策略的理解
weixin_33895516的博客
01-21 286
现在有空整理一下关于深度学习中怎么加入dropout方法来防止测试过程的过拟合现象。 首先了解一下dropout的实现原理： 这些理论的解释在百度上有很多。。。。 这里重点记录一下怎么实现这一技术 参考别人的博客，主要http://www.cnblogs.com/dupuleng/articles/4340293.html 讲解一下用Matlab中的深度学习工具箱怎么实现dropout ...
Learning-Rate-Dropout:Pytorch实现学习率下降
03-09
学习率下降 Pytorch实现学习率下降。 论文链接： : 为Cifar10训练ResNet-34： 跑： python main.py --model=resnet --optim=adam_lrd --lr=0.001 --LRD_p=0.5 python main.py --model=resnet --optim=adam --lr=0.001 python main.py --model=resnet --optim=sgd_lrd --lr=0.1 --LRD_p=0.5 python main.py --model=resnet --optim=sgd --lr=0.1 python main.py --model=resnet --optim=rmsprop_lrd --lr=0.001 --LRD_p=0.5 python main.py --model=re
深度学习基础之Dropout
小白学视觉
04-09 563
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达原标题 | An Introduction to Dropout for Regularizing Deep Neural Networks作　者 | Irfan Danish在少量训练数据情况下，深度学习的神经网络模型很容易出现过拟合。我们知道，将具有不同配置的卷积神经网络模型组合可以减少过拟合，但代价是需要额外的训练和维护多...
算法面经总结（10）常见防止过拟合策略（正则化、BN、dropout）
qq_43250450的博客
08-15 1809
1、判断过拟合 训练集上精度高，验证集上表现不好。训练出的模型泛化能力差（学习器正确学习到了数据分布，但数据分布有问题） 2、解决模型过拟合的策略 增加训练集数据 降低模型复杂度 增加正则化的约束（L2限制参数过大，L1限制参数过多，BN限制分布偏移） 通过集成学习的方式训练模型 3、L1和L2有什么区别 定义 L1正则化是指权值向量w中各个元素的绝对值之和 ...
关于dropout的重新认识和理解
qqywm的博客
03-14 1328
函数中，x是本层网络的激活值。Level就是dropout就是每个神经元要被丢弃的概率。 注意：Keras中Dropout的实现，是屏蔽掉某些神经元，使其激活值为0以后，对激活值向量x1……x1000进行放大，也就是乘以1/(1-p)。 思考：上面我们介绍了两种方法进行Dropout的缩放，那么Dropout为什么需要进行缩放呢？ 因为我们训练的时候会随机的丢弃一些神经元，但是预测的时候...
Dropout详解：Dropout解决过拟合问题
机器学习深度学习业余选手
01-02 2005
Dropout详解：Dropout解决过拟合问题
深度学习正则化之Dropout
SHIDA优快云的博客
04-16 372
一、Dropout 丢弃法(Dropout Method)：在训练一个深度神经网络时，可以随机丢弃一部分神经元(同时丢弃其对应的连接边)来避免过拟合。 训练时，每次选择丢弃的神经元是随机的，这些随机选出隐藏层的神经元将被删除，它们将不再传递信号。 常规dropout (训练测试不一致，测试时调整输入保持一致) 设置一个固定的概率????，对每一个神经元都以概率???? 来判定不要...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值