【深度学习】正则化方法——dropout

第五季度

于 2023-05-29 21:55:27 发布

阅读量564

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：深度学习人工智能机器学习

本文链接：https://blog.youkuaiyun.com/weixin_52808620/article/details/130916756

深度学习专栏收录该内容

9 篇文章

订阅专栏

Dropout是一种正则化方法，通过在神经网络训练过程中随机丢弃一部分神经元来防止过拟合。它通常应用于全连接层后，以概率p将神经元输出置0。在PyTorch中，可以通过添加nn.Dropout层来实现这一过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

正则化方法——Dropout

正则化方法——Dropout

所谓dropout，是指在神经网络之中每一次前向传播都随机以一定的概率将一些神经元丢弃。
一般用于全连接层输出之后。
假如一个全连接层的输出是x，那么使用dropout对其丢弃的做法是：
$x=\begin{cases} 0,x<p \\ \frac{x}{1-p},x \ge p \end{cases}$ 其中， $p$ 是一个范围在0到1之间的超参数，表示dropout的概率。
按照这个公式来看，dropout就是以一定概率将一个值置为0，否则将这个值放大。

在pytorch之中，使用dropout的方法很简单，在全连接层和激活层的后面加上dropout层即可。

# p是超参数
net = nn.Sequential(nn.Flatten(), nn.Linear(784, 392), nn.ReLU(), nn.Dropout(p),
                    nn.Linear(392,100), nn.ReLU(), nn.Dropout(p), nn.Linear(100, 10))