12、正则化与稳定性：机器学习中的关键概念

正则化与稳定性：机器学习中的关键概念

在机器学习领域，正则化和稳定性是两个至关重要的概念，它们对于解决学习问题、防止过拟合以及提高模型的泛化能力起着关键作用。本文将深入探讨正则化损失最小化（Regularized Loss Minimization，RLM）规则，以及稳定性与可学习性之间的紧密联系。

1. 正则化损失最小化

正则化损失最小化（RLM）是一种学习规则，它通过同时最小化经验风险和正则化函数来输出一个假设。形式上，正则化函数是一个从 $R^d$ 到 $R$ 的映射 $R$，RLM 规则输出的假设为：
[
\text{argmin}_w (L_S(w) + R(w))
]
其中，$L_S(w)$ 表示经验风险。

正则化损失最小化与最小描述长度算法和结构风险最小化有相似之处。直观上，正则化函数衡量了假设的“复杂度”，算法在低经验风险和“更简单”或“复杂度更低”的假设之间进行平衡。

在众多可能的正则化函数中，我们重点关注一种简单的形式：$R(w) = \lambda |w|^2$，其中 $\lambda > 0$ 是一个标量，$|w|$ 是 $\ell_2$ 范数。这种正则化函数通常被称为 Tikhonov 正则化，相应的学习规则为：
[
A(S) = \text{argmin}_w (L_S(w) + \lambda |w|^2)
]

1.1 岭回归

将带有 Tikhonov 正则化的 RLM 规则应用于带有平方损失的线性回归，我们得到以下学习规则：
[
\text{argmin} {w \in R^d}