73、神经网络中的正则化技术解析

神经网络中的正则化技术解析

在神经网络的训练过程中，正则化是一项关键技术，它有助于提高模型的泛化能力，使模型在面对未见过的数据时表现更优。本文将深入探讨神经网络中的两种正则化方法：切线传播（Tangent Propagation）和使用变换后数据进行训练。

1. 手写数字的合成变形

首先介绍了手写数字的合成变形。通过随机采样像素的位移量 $\Delta x$、$\Delta y \in (0, 1)$，并使用不同宽度（0.01、30 和 60）的高斯函数进行卷积平滑，生成位移场，从而得到手写数字的变形示例。这种方法的一个优点是能够在训练集包含的变换范围之外进行正确的外推，但难点在于找到具有所需不变性且不丢弃可用于区分的信息的手工特征。

2. 切线传播

切线传播是一种通过正则化鼓励模型对输入变换具有不变性的技术。下面详细介绍其原理和实现步骤。

2.1 连续变换的影响

考虑一个连续变换（如平移或旋转，但不包括镜像反射）对特定输入向量 $x_n$ 的影响。在 $D$ 维输入空间中，经过变换的模式会扫出一个流形 $M$。为了简化说明，以 $D = 2$ 为例，假设变换由单个参数 $\xi$（如旋转角度）控制，那么 $x_n$ 扫出的子空间 $M$ 是一维的，且由 $\xi$ 参数化。

设对 $x_n$ 进行该变换得到的向量为 $s(x_n, \xi)$，且 $s(x, 0) = x$。则曲线 $M$ 在该点的切线由方向导数 $\tau = \frac{\partial s}{\partial \xi}$ 给出，点 $x_n$ 处的切向量为：
[
\tau_n = \left.\frac{\part