本文深入探讨了深度学习中常用的正则化技术——Dropout。详细解释了Dropout的工作原理，包括其如何通过随机失活神经元来防止过拟合，以及在PyTorch中如何实现Dropout层。此外，还讨论了训练与测试阶段的权重调整策略。
正则化之Dropout
Dropout: 随机失活
随机： dropout probability
失活：weight=0
数据尺度变化：测试时，所有权重乘以1-drop_prob, drop_prob = 0.3, 1- drop_prob=0.7
nn.Dropout
torch.nn.Dropout(p=0.5, inplace=False)
功能：Dropout层
参数
- p = 被舍弃的概率
实现细节：
训练时权重均乘以1 / 1-p , 即除以1-p
PyTorch中，Dropout在训练的时候权值尺度会进行什么操作？
训练时权重均乘以1 / 1-p , 即除以1-p,这样在测试阶段就不需要对权值进行缩放，即测试时，所有权重不需要乘以1-drop_pob
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
