41、深度学习中的优化、正则化与卷积技术

深度学习中的优化、正则化与卷积技术

1. 防止过拟合的正则化技术

1.1 Dropout

在深度学习中，如果网络中的所有神经元都只专注于在训练数据中寻找一两个特征，那么它们在训练数据上可能表现出色，但在面对缺少特定线索的新数据时，整个系统的性能会变差。例如，一个只能识别猫脸图片，却无法对其他照片进行分类的系统。

Dropout 可以帮助我们避免这种神经元的过度专业化。当一个神经元被断开连接时，其余的神经元必须进行调整以弥补空缺。这样，原本专业化的神经元就可以被释放出来执行更通用的任务，从而延迟过拟合的发生。Dropout 通过在所有神经元之间分散学习来推迟过拟合。

1.2 Batch Normalization（Batchnorm）

Batchnorm 是另一种正则化技术。它可以实现为一个没有神经元的层，与 Dropout 不同的是，Batchnorm 实际上会进行一些计算，不过不需要我们指定参数。

Batchnorm 会修改从一个层输出的值。这看起来可能有些奇怪，因为训练的目的是让神经元产生能带来良好结果的输出值。但许多激活函数（如 leaky ReLU 和 tanh）在接近 0 的区域效果最佳。为了从这些函数中获得最大益处，我们需要输入它们的数值集中在以 0 为中心的小范围内。Batchnorm 通过对一个层的所有输出进行缩放和平移来实现这一点。

Batchnorm 将神经元的输出移动到接近 0 的小范围内，这样就不太容易出现某个神经元学习到一个特定细节并产生一个巨大的输出，从而淹没其他神经元的情况，进而延迟过拟合的发生。它在整个小批量数据的过程中对前一层输出的所有值进行缩放和平移，并与网