cs231n'18： Assignment 2 | Dropout_compare the validation and training accuracies wit-优快云博客

本文链接：https://blog.youkuaiyun.com/FortiLZ/article/details/80851023

本文探讨了深度学习中Dropout的作用，它在训练时通过随机丢弃部分连接来引入不确定性，并在测试时使用所有连接。Dropout作为正则化手段，能有效防止过拟合。实验表明，Dropout在训练集上显著提高准确率，但在验证集上的提升有限。文章还讨论了调整隐藏层大小时Dropout概率p应如何变化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Assignment 2 | Dropout

Dropout 就是在 train 的过程中随机的丢掉一部分连接，但是在 test 的时候使用全部的连接。这样做的好处是在 train 的时候引入一些随机性，在 test 的时候相当于用这些随机性进行了 ensemble。起到了 reg 的作用。

Inline Question 1:

What happens if we do not divide the values being passed through inverse dropout by p in the dropout layer? Why does that happen?

Notes 里讲到了这个问题，如果不在forward的时候 /p , 会导致输出的均值变为输入均值的 p 倍，而dropout只是要保持输入输出均值不变。

Inline Question 2:

Compare the validation and training accuracies with and without dropout – what do your results suggest about dropout as a regularizer?

dropout reg 的作用很明显，但是对test 好像帮助不大。

Inline Question 3:

Suppose we are training a deep fully-connected network for image classification, with dropout after hidden layers (parameterized by keep probability p). How should we modify p, if at all, if we decide to decrease the size of the hidden layers (that is, the number of nodes in each layer)?

这个问题实在是有歧义，是要通过改变 p 来减小size 呢，还是减小 size 以后 p 要如何调整。

实际上这里的 p 是 keep 的概率，不是 drop 的概率，如果要通过 p 来减小 size，那么就要减小 p，要注意的是即使 p 减小，也不会对 test 时的size 产生影响。