41、深度学习中的优化与卷积技术详解

深度学习中的优化与卷积技术详解

1. 避免过拟合的技术

在深度学习中，过拟合是一个常见的问题。当网络中的神经元过于专业化，只专注于训练数据中的一两个特征时，虽然在训练数据上表现出色，但面对新数据时，由于缺少这些神经元专门识别的精确线索，整个系统的性能会大幅下降。

为了避免这种专业化，有两种有效的正则化技术：Dropout 和 Batchnorm。
- Dropout ：当一个神经元断开连接时，其余神经元必须调整以弥补空缺。这样，原本专业化的神经元就可以执行更通用的任务，从而延迟过拟合的发生。Dropout 通过在所有神经元之间分散学习来推迟过拟合。
- Batchnorm ：这是另一种正则化技术，通常简称为 Batchnorm。它可以实现为一个没有神经元的层，与 Dropout 不同的是，它实际上会进行一些计算，而且无需我们指定参数。
- 原理 ：许多激活函数（如 Leaky ReLU 和 tanh）在接近 0 的区域效果最佳。Batchnorm 通过对一层的所有输出进行缩放和平移，将神经元的输出移动到接近 0 的小范围内，减少了单个神经元学习特定细节并产生巨大输出从而淹没其他神经元的可能性，进而延迟过拟合的发生。
- 应用位置 ：我们在激活函数之前应用 Batchnorm，以便修改后的值落在激活函数影响最大的区域。在实践中，进入 Batchnorm 的神经元不设置激活函数（如果必须指定，通常使用线性激活函数，因为它没有实际效果）。这些值先进入 Batchnorm，然后再输入到我们想要应用的激活函数中。