15、机器学习中的正则化、矩阵分解与字典学习

机器学习中的正则化、矩阵分解与字典学习

1. 正则化在线性回归中的应用

在标准线性回归问题中，我们使用线性函数 $y = w^⊺x$ 来拟合给定的训练集，通过最小化重建误差（使用平方损失函数衡量）。对于这个标准线性回归问题，可以推导出其闭式解。然而，当需要从相对较小的训练集中估计高维线性模型时，正则化就显得尤为重要。下面介绍两种常用的正则化方法在线性回归中的应用。

1.1 岭回归（Ridge Regression）

当使用 $L_2$ 范数正则化进行线性回归时，就得到了统计学中的岭回归。对于训练集 $D_N = {(x_i, y_i) | i = 1, 2, \cdots, N}$，我们通过最小化以下正则化经验损失来估计模型参数 $w$：
[
w^ {ridge} = \arg\min_w \left[ \sum {i = 1}^{N} (w^⊺x_i - y_i)^2 + \lambda \cdot |w|_2^2 \right]
]
通过类似的处理，可以得到岭回归的闭式解：
[
w^ _{ridge} = (X^⊺X + \lambda \cdot I)^{-1} X^⊺y
]
其中，$I$ 表示单位矩阵，岭参数 $\lambda$ 是一个正常数，用于移动对角线元素，以稳定矩阵 $X^⊺X$ 的条件数。矩阵的条件数定义为其最大特征值与最小特征值的比值，条件数高的矩阵被称为病态矩阵。

1.2 LASSO 回归

当将 $L_1$ 范数正则化应用于线性回归时，就产生了统计学中另一个著名的方法——LASSO。在 L