吴恩达深度学习笔记(32)-Dropout正则化Dropout Regularization

最新推荐文章于 2025-07-08 14:15:27 发布

原创

最新推荐文章于 2025-07-08 14:15:27 发布 · 813 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #dropout #过拟合

本文介绍了一种有效的正则化方法——Dropout（随机失活）。Dropout在训练过程中随机关闭神经网络的一部分节点，以此来防止过拟合。在训练时，每个节点以一定的概率被保留或移除，这样可以使得模型在多个小型网络上进行学习，增强其泛化能力。反向随机失活（Inverted Dropout）是常用的Dropout实现方式，通过在前向传播时除以保留概率来保持期望值不变。在测试阶段，不使用Dropout以避免输出的随机性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

dropout 正则化（Dropout Regularization）

除了L2正则化，还有一个非常实用的正则化方法——“Dropout（随机失活）”，我们来看看它的工作原理。

吴恩达深度学习笔记(32)-Dropout正则化Dropout Regularization
假设你在训练上图这样的神经网络，它存在过拟合，这就是dropout所要处理的，我们复制这个神经网络，dropout会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节点都以抛硬币的方式设置概率，每个节点得以保留和消除的概率都是0.5，设置完节点概率，我们会消除一些节点，然后删除掉从该节点进出的连线，最后得到一个节点更少，规模更小的网络，然后用backprop方法进行训练。

吴恩达深度学习笔记(32)-Dropout正则化Dropout Regularization

这是网络节点精简后的一个样本，对于其它样本，我们照旧以抛硬币的方式设置概率，保留一类节点集合，删除其它类型的节点集合。对于每个训练样本，我们都将采用一个精简后神经网络来训练它，这种方法似乎有点怪，单纯遍历节点，编码也是随机的，可它真的有效。不过可想而知，我们针对每个训练样本训练规模极小的网络，最后你可能会认识到为什么要正则化网络，因为我们在训练极小的网络。