神经网络的优化（5）----Dropout

一、Dropout怎么做                                                                                                                点击此处返回总目录 二、为什么Dropout有效       讲一下Dropout，我们先讲一下dropout是怎么做的，然后再讲为什么要这么做。                              一、Dropout怎么做 Dropout是怎么做的呢？ 在training的时候，每一次要update之前，我们都对某一个神经元（包括input的地方，input Layer的每一个element也算是一个神经元）做采样。这个采样决定，这个神经元要不要被丢掉。每个神经元有p%的概率被丢掉。                       如果一个神经元被sample到被丢掉，跟它相连的weight也失去作用。所以做完这个sample之后，你的网络结构就变瘦了，变得比较细长。然后再train这个比较细长的网络。