机器学习算法系列（四）- 岭回归算法（Ridge Regression Algorithm）

阅读本文需要的背景知识点：标准线性回归算法、一丢丢编程知识

一、引言

  前面一节我们学习了机器学习算法系列（三）- 标准线性回归算法（Standard Linear Regression Algorithm），最后求得标准线性回归的代价函数的解析解 w 为：
$$w={\left(X^{T}X\right)}^{-1}{X}^{T}y$$

  其中提到如果矩阵 X 的转置与矩阵 X 相乘后的矩阵不是满秩矩阵时，这个矩阵是不可逆的，还提到其本质是多个自变量 x 之间存在多重共线性。下面来介绍多重共线性的问题与解决这个问题的其中一个方法 - 岭回归¹（Ridge Regression）

二、多重共线性

  先来看看多重共线性在维基百科中的解释：

多重共线性²（Multicollinearity）是指多变量线性回归中，变量之间由于存在精确相关关系或高度相关关系而使回归估计不准确。

  那么什么是精确相关关系与高度相关关系呢？假如有下面的（1）式，其中 $w_1=2、w_2=3$，同时如果又存在（2）式的关系，这时就说明 $x_1$ 与 $x_2$ 存在精确相关关系。当 $x_1$ 与 $x_2$ 之间存在近似精确相关关系，例如 $x_1$ 约等于 2 倍的 $x_2$，则说明存在高度相关关系。
$$\{\begin{array}{lc}y=2x_1+3x_2& (1)\\ x_2=2x_1& (2)\end{array}$$

  因为由（2）式可以将（1）式改写成不同的形式，这样就会导致 w 存在无数种解，会使得最后的回归估计不准确。
$$⟹\{\begin{array}{lll}y=2x_1+3x_2& \Rightarrow w_1=2& w_2=3\\ y=8x_1& \Rightarrow w_1=8& w_2=0\\ y=4x_2& \Rightarrow w_1=0& w_2=4\\ y=6x_1+x_2& \Rightarrow w_1=6& w_2=1\\ \dots & & \end{array}$$

  根据 w 的解析解，可以通过下面的公式来求解其中的逆矩阵运算，被除数为矩阵的伴随矩阵³，除数为矩阵的行列式。可以看到矩阵可逆的条件是其行列式不能为零。
$${\left(X^{T}X\right)}^{-1}=\frac{{\left(X^{T}X\right)}^{\ast }}{\mid X^{T}X\mid }$$

  如果自变量之间存在多重共线性，会使得矩阵的行列式为零，导致矩阵不可逆。如下图中的示例 X，可以看到 $x_1$ 与 $x_2$ 存在精确相关关系，相乘后的矩阵经过初等变换⁴后其行列式为零，说明相乘后的矩阵的行列式也必然为零（初等变换不改变行列式为零的判断），这时的矩阵不可逆。如果自变量之间是高度相关关系，会使得矩阵的行列式近似等于零，这时所得的 w 的偏差会很大，也会造成回归估计不准确。
X = [ 1 1 2 1 2 4 1 3 6 1 4 8 ] X T = [ 1 1 1 1 1 2 3 4 2 4 6 8 ] X T X = [ 4 10 20 10 30 60 20 60 120 ] ⟶  初等变换  [ 1 0 0 0 1 2 0 0 0 ] \begin{array}{c} X=\left[\begin{array}{lll} 1 & 1 & 2 \\ 1 & 2 & 4 \\ 1 & 3 & 6 \\ 1 & 4 & 8 \end{array}\right] \quad X^{T}=\left[\begin{array}{llll} 1 & 1 & 1 & 1 \\ 1 & 2 & 3 & 4 \\ 2 & 4 & 6 & 8 \end{array}\right] \\ X^{T} X=\left[\begin{array}{ccc} 4 & 10 & 20 \\ 10 & 30 & 60 \\ 20 & 60 & 120 \end{array}\right] \stackrel{\text { 初等变换 }}{\longrightarrow}\left[\begin{array}{lll} 1 & 0 & 0 \\ 0 & 1 & 2 \\ 0 & 0 & 0 \end{array}\right] \end{array} X=⎣⎢⎢⎡​1111​1234​2468​⎦⎥⎥⎤​XT=