1、Dropout
Dropout是一种正则化技术,通过防止特征的协同适应,可用于减少神经网络中的过拟合。
Dropout的效果非常好,实现简单且不会降低网络速度,被广泛使用。
特征的协同适应指的是在训练模型时,共同训练的神经元为了相互弥补错误,而相互关联的现象,在神经网络中这种现象会变得尤其复杂。
协同适应会转而导致模型的过度拟合,因为协同适应的现象并不会泛化未曾见过的数据。
Dropout从解决特征间的协同适应入手,有效地控制了神经网络的过拟合。
Dropout在每次训练中,按照一定概率 p ,随机地抑制一些神经元的更新,相应地,按照概率 1-p 保留一些神经元的更新。
当神经元被抑制时,它的前向传播结果被置为0,而