35、线性回归的高级方法：从岭回归到鲁棒与稀疏回归

线性回归的高级方法：从岭回归到鲁棒与稀疏回归

1. 岭回归

岭回归是一种常用的线性回归方法，它通过引入正则化项来解决普通最小二乘法（OLS）可能出现的过拟合问题。

1.1 数据变换与等价性

首先，我们进行如下的数据变换：
[
\tilde{X} =
\begin{pmatrix}
X/\sigma \
\sqrt{\Lambda}
\end{pmatrix}
,
\tilde{y} =
\begin{pmatrix}
y/\sigma \
0_{D\times1}
\end{pmatrix}
]
其中，(\Lambda = \sqrt{\Lambda}\sqrt{\Lambda}^{\top}) 是 (\Lambda) 的 Cholesky 分解。可以看到，(\tilde{X}) 是一个 ((N + D) \times D) 的矩阵，额外的行代表来自先验的伪数据。

接下来，我们证明扩展数据上的残差平方和（RSS）等价于原始数据上的惩罚 RSS：
[
\begin{align }
f(w) &= (\tilde{y} - \tilde{X}w)^{\top}(\tilde{y} - \tilde{X}w) \
&=
\begin{pmatrix}
\begin{pmatrix}
y/\sigma \
0
\end{pmatrix}
-
\begin{pmatrix}
X/\sigma \