深度学习面试题14：Dropout(随机失活)

最新推荐文章于 2024-09-04 21:58:20 发布

转载最新推荐文章于 2024-09-04 21:58:20 发布 · 1.3k 阅读

·

0

·

CC 4.0 BY-SA版权

原文链接：https://www.cnblogs.com/mfryf/p/11381266.html

文章标签：

#深度学习 #Dropout

深度学习专栏收录该内容

21 篇文章

订阅专栏

本文深入解析了Dropout技术，一种用于防止神经网络过拟合的方法。详细介绍了在卷积层和全连接层如何应用Dropout，以及其在反向传播过程中的作用。通过实例展示了Dropout如何在不同情况下影响网络的训练过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目录

　　卷积层的dropout

　　全连接层的dropout

　　Dropout的反向传播

　　Dropout的反向传播举例

　　参考资料

在训练过程中，Dropout会让输出中的每个值以概率keep_prob变为原来的1/keep_prob倍，以概率1-keep_prob变为0。也就是在每一轮的训练中让一些神经元随机失活，从而让每一个神经元都有机会得到更高效的学习，会让网络更加健壮，减小过拟合。

在预测过程中，不再随机失活，也不在扩大神经元的输出。

卷积层的dropout

举例：以一个2*4的二维张量为例，参数keep_prob=0.5，其过程如下：

全连接层的dropout

Dropout处理一般用在全连接神经网络的全连接层或者卷积网络后面的全连接层。

举例：以全连接网络的某一层为例，参数keep_prob=0.5，每一轮训练对隐藏层的输出做dropout，其过程如下：

隐藏层的激活函数为σ(x)=x

Dropout的反向传播

以一个回归案例为例

其中z₂神经元会失活，通过如下图的链式法则发现，此轮更新过程中，与失活神经元相连的边上的权重都不会被训练，因为他们的偏导数都=0.

Dropout的反向传播举例

举例：dropout的概率p=0.5，激活函数为σ(x)=x，网络结构如下：

假设某样本x的值是3，标签是0.5，训练一个回归模型，因为有dropout的存在，会出现不同的更新情况，下面演示使用样本x反复训练网络，更新网络的过程：

第一轮（假设dropout(z)=2z）：

第二轮（假设dropout(z)=0）：

第三轮（假设dropout(z)=2z）：

参考资料

《图解深度学习与神经网络：从张量到TensorFlow实现》_张平

原文链接：[https://www.cnblogs.com/mfryf/p/11381266.html](https://www.cnblogs.com/mfryf/p/11381266.html)

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。