75、神经网络中的正则化技术详解

神经网络中的正则化技术详解

1. 神经网络基础结构

在神经网络中，卷积层和下采样层是重要的组成部分。卷积层的主要作用是检测输入图像中的多个特征，以构建有效的模型。通常，卷积层会有多个特征图，每个特征图都有自己的一组权重和偏置参数。这些卷积单元的输出会作为网络下采样层的输入。

对于卷积层中的每个特征图，下采样层中都有一个对应的单元平面。每个下采样单元从卷积层对应特征图的一个小感受野中获取输入，并进行下采样操作。例如，每个下采样单元可能从一个 2×2 的单元区域获取输入，计算这些输入的平均值，乘以一个自适应权重，再加上一个自适应偏置参数，最后通过一个 S 形非线性激活函数进行转换。

感受野的选择是连续且不重叠的，这样下采样层的行数和列数是卷积层的一半。通过这种方式，下采样层单元的响应对于输入空间中对应区域的图像小位移相对不敏感。

在实际的架构中，可能会有几组卷积层和下采样层。在每一个阶段，与前一层相比，对输入变换的不变性程度会更高。给定卷积层中可能会有多个特征图对应前一个下采样层的每个单元平面，这样空间分辨率的逐渐降低可以通过特征数量的增加来补偿。

神经网络的最后一层通常是一个全连接、完全自适应的层。在多类分类的情况下，会使用 Softmax 输出非线性函数。整个网络可以通过误差最小化和反向传播来进行训练，这需要对通常的反向传播算法进行一些小的修改，以确保共享权重的约束条件得到满足。

由于使用了局部感受野，网络中的权重数量比全连接网络要少。此外，由于权重上存在大量的约束条件，需要从数据中学习的独立参数数量也会少得多。

2. 卷积层与下采样层工作流程

下面是卷积层和下采样层工作流程的