L2 正则化

系列博客目录

---

---

L2 正则化 是一种常见的正则化方法，通常用于机器学习和深度学习模型中，以防止模型过拟合。L2 正则化的基本思想是在损失函数中添加一个项，该项是所有模型参数的平方和，从而鼓励模型参数较小，避免参数过大带来的过拟合风险。

L2 正则化的数学定义

假设模型的损失函数为 $L(\theta )$，其中 $\theta$ 是模型的参数。L2 正则化会将损失函数改为：

$L_{\text{reg}}(\theta )=L(\theta )+\lambda {\sum }_i{\theta }_i^2$

其中：

• $\lambda$ 是正则化系数（也叫超参数），用于控制正则化的强度。
• ${\theta }_i$ 是模型的第 $i$ 个参数。
• ${\sum }_i{\theta }_i^2$ 是所有参数的平方和，也被称为参数的 L2 范数（或欧几里得范数）的平方。

通过添加这项，优化算法在训练时会尝试让参数值尽可能小，以减少模型复杂度，增强模型的泛化能力。

简单计算示例

假设我们有一个简单的线性回归模型，其损失函数为均方误差（MSE）：

$$L(\theta )=\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

假设模型有两个参数 (\theta_1) 和 (\theta_2)，且它们的当前值分别为 3 和 4。为了避免模型过拟合，我们加入 L2 正则化项，(\lambda) 设为 0.1。则正则化后的损失函数为：

$$L_{\text{reg}}(\theta )=L(\theta )+\lambda ({\theta }_1^2+{\theta }_2^2)$$

假设在当前参数下，均方误差 (L(\theta)) 计算结果为 2.5。

那么正则化后的损失为：

$L_{\text{reg}}(\theta )=2.5+0.1\times (3^2+4^2)$
$=2.5+0.1\times (9+16)$
$=2.5+0.1\times 25$
$=2.5+2.5=5.0$

因此，加入 L2 正则化后，损失从 2.5 增加到了 5.0，这会使得优化算法在训练时倾向于减少 ${\theta }_1$ 和 ${\theta }_2$ 的值，以减小正则化项的影响，从而避免参数变得过大，有助于提升模型的泛化能力。