1.1.2. Ridge regression and classification（岭回归和岭分类）

1.1.2. Ridge regression and classification

一、简介（岭回归）

岭回归是线性回归中普通最小二乘的一个变体。它在普通最小二乘的目标函数中，增加了一项针对系数的大小的惩罚项(a penalty on the size of the coefficients)，用以解决类似我们上一节所说的线性回归中多重共线性的问题。

怎么理解：
直观上，既然多重共线性导致模型的稳定性很差（稳定性差一般意味着模型不能很好的收敛），任何细微的波动多会导致系数coefficients较大的变化，那么我们就针对系数添加一项惩罚。

惩罚怎么理解：
我们的目的是让loss函数最小，但是当模型在训练中触发一定条件时（比如系数波动较大），我们让loss值增加。这与我们minimize损失函数的目的不符，所以叫做惩罚。

所以：
当系数波动（偏离）明显时，会使loss的值明显增大，于是系统会自主的约束$\omega$的值，从而增强模型的稳定性。

数学解释：
对于多重共线性的数据，其loss函数求偏导后分母近似奇异矩阵，解得的$\omega$误差大；我们对loss函数加上$\omega$的2范数，使得求偏导后分母变为满秩矩阵，和普通最小二乘相类似，可以很好的计算出相对稳定的结果。

二、Ridge classification（岭分类）