16、深度学习中的正则化与卷积神经网络

深度学习中的正则化与卷积神经网络

1. 正则化技术概述

在深度学习模型训练过程中，过拟合是一个常见的问题，即模型在训练数据上表现良好，但在测试数据上表现不佳。为了解决这个问题，我们通常采用正则化技术，其目的是缩小训练误差和测试误差之间的差距。

1.1 早停法

早停法是一种正则化技术，但它仅在测试误差呈现 U 形曲线时才有效，即测试误差在经过一段时间后开始增加。在某些情况下，测试误差可能不会呈现这种曲线，此时就需要考虑其他正则化技术。

1.2 权重衰减

权重衰减是一种常见的正则化技术，通过在损失函数中添加惩罚项来实现：
- L1 正则化 ：
- 损失函数公式为：$Loss = cross - entropy + \lambda \sum_{j=0}^{n} \left| w_j \right|$
- 其中 $\lambda$ 是一个常数，$w_0, w_1, \ldots, w_n$ 是模型中所有神经元的权重。学习算法会尝试最小化损失函数，这个惩罚项会促使权重尽可能小，从而减少对解决一般问题贡献不大的权重。
- L2 正则化 ：
- 损失函数公式为：$Loss = cross - entropy + \lambda \sum_{j=0}^{n} w_j^2$
- 这是更常见的一种权重衰减形式，通过对权重进行平方求和。

以下是在 Keras 中添加 L2 正则化的代码示例：

from tensorflo