dropout手工实现_FashionMNIST数据集

一、dropout原理

神经网络中dropout以p的概率丢弃该层的节点。p=0时，没有节点被丢弃。p=1时，将丢弃所有节点。被丢弃的节点$h_i=0$,保留下来的节点$h_i=h_i^{\prime }$。其中要满足$E[h_i^{\prime }]=h_i$。$$h^{\prime }=\{\begin{array}{ll}0& \text{丢弃概率为p}\\ \frac{h}{1-p}& \text{其他情况}\end{array}$$
假设单隐层，共5个隐层节点的网络如下所示：当p=0.5时，每个节点都有0.5的概率被丢弃。保留下来的节点数值$h^{\prime }=$