【深度学习】Dropout、DropPath

一、Dropout

1. 概念

Dropout 在训练阶段会让当前层每个神经元以drop_prob（$0\le \text{drop\_prob}\le 1$）的概率失活并停止工作，效果如下图。

在测试阶段不会进行Dropout。由于不同批次、不同样本的神经元失活情况不同，测试时枚举所有情况进行推理是不现实的，所以原文使用一种均值近似的方法进行逼近。详情如下图：

如图，$\mathbf{w}$为一个神经元后的权重。假设该神经元的输出均值为$\mu$，若训练阶段该神经元的存活概率为$p$，则Dropout使其输出均值变为$p\times \mu$，为使测试时该神经元输出逼近训练输出，测试阶段该神经元输出会被乘上$p$以使测试与训练输出均值相同。

简单来说，训练时Dropout按照概率drop_prob使神经元停止工作，测试时所有神经元正常工作，但其输出值要乘上1-drop_prob（$p$