【深度学习】正则化方法——dropout

Dropout是一种正则化方法,通过在神经网络训练过程中随机丢弃一部分神经元来防止过拟合。它通常应用于全连接层后,以概率p将神经元输出置0。在PyTorch中,可以通过添加nn.Dropout层来实现这一过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

正则化方法——Dropout

所谓dropout,是指在神经网络之中每一次前向传播都随机以一定的概率将一些神经元丢弃。
一般用于全连接层输出之后。
假如一个全连接层的输出是x,那么使用dropout对其丢弃的做法是:
x = { 0 , x < p x 1 − p , x ≥ p x=\begin{cases} 0,x<p \\ \frac{x}{1-p},x \ge p \end{cases} x={0,x<p1px,xp其中, p p p是一个范围在0到1之间的超参数,表示dropout的概率。
按照这个公式来看,dropout就是以一定概率将一个值置为0,否则将这个值放大。

在pytorch之中,使用dropout的方法很简单,在全连接层和激活层的后面加上dropout层即可。

# p是超参数
net = nn.Sequential(nn.Flatten(), nn.Linear(784, 392), nn.ReLU(), nn.Dropout(p),
                    nn.Linear(392,100), nn.ReLU(), nn.Dropout(p), nn.Linear(100, 10))
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值