74、神经网络中的正则化与卷积神经网络

神经网络中的正则化与卷积神经网络

一、神经网络中的正则化

在神经网络里，正则化是一项关键技术，它有助于提升模型的泛化能力，防止过拟合。接下来我们深入探讨两种正则化方法。

1.1 正则化项的简化

为了进一步简化正则化项，我们可以从之前的结论入手。已知最小化平方和误差的函数由目标值 $t$ 的条件均值 $E[t|x]$ 给出。从公式 $(5.131)$ 可知，正则化误差等于未正则化的平方和加上 $O(ξ)$ 阶的项。所以，使总误差最小的网络函数形式为：
$y(x) = E[t|x] + O(ξ)$ （公式 5.133）

在 $ξ$ 的主导阶下，正则化器中的第一项消失，我们得到：
$\Omega = \frac{1}{2} \int (\tau^T \nabla y(x))^2 p(x) dx$ （公式 5.134）
这等价于切向传播正则化器（公式 5.128）。

1.2 Tikhonov 正则化

当输入的变换仅仅是添加随机噪声，即 $x → x + ξ$ 时，正则化器变为：
$\Omega = \frac{1}{2} \int |\nabla y(x)|^2 p(x) dx$ （公式 5.135）
这就是 Tikhonov 正则化。

对于这个正则化器关于网络权重的导数，可以使用扩展的反向传播算法来计算。当噪声幅度较小时，Tikhonov 正则化与向输入添加随机噪声有关，在适当的情况下，这种添加随机噪声的方法已被证明可以提高模型的泛化能力。

下面我们用一个表格来总结这两种正则化的相关信息：
| 正则化类型 | 公式 |