13、卷积神经网络的训练、评估与其他层类型

卷积神经网络的训练、评估与其他层类型

1. 卷积神经网络训练技巧

在卷积神经网络（ConvNet）的训练过程中，有许多关键技巧可以提升模型性能。

1.1 Dropout 技术

Dropout 是一种有效的正则化方法，可防止神经网络过拟合。传统方法在测试时为获取一个样本的结果需多次运行网络，效率较低。高效的做法是在测试时仅进行一次前向传播，并对 Dropout 门的输出进行缩放。

假设一个神经元连接到 Dropout 阻断器，输入 $x_i$ 时神经元输出为 $z$。由于神经元无随机性，输入 $x_i$ 时始终输出 $z$。但经过 Dropout 阻断器时，有概率 $p$ 被阻断。若前向传播 $N$ 次，预计 $(1 - p)×N$ 次 $z$ 通过阻断器，$p×N$ 次被阻断（即输出为 0）。那么 Dropout 门的平均值为：$\frac{(1 - p)×N×z + p×N×0}{N} = (1 - p)×z$。

因此，测试时无需多次运行网络，只需设置 $\beta = 1 - p$，并将连接到 Dropout 层的输出神经元按此因子缩放，此时 Dropout 门将作为缩放器而非阻断器。

通常，ConvNet 中的 Dropout 层置于全连接层之后，但并非绝对，也可将其连接到输入以生成有噪声的输入。Dropout 比率 $p$ 通常设为 0.5，但无理论证明该值最佳，可从 $p = 0.5$ 开始，利用开发集进行调整。

1.2 混合正则化

可以结合多种正则化方法训练 ConvNet，例如同时使用 L2 正则化和 Dropout 是常见做法，也可将本节介绍的所有正则化方法