【MachineLearning】之 岭回归（Ridge Regression）

Topic:

1. 为什么需要岭回归？
2. 岭回归如何防止模型出现过拟合
3. 岭回归代码

一、为什么需要岭回归？

---

（1） 线性回归不好？

线性回归主要根据 最小二乘法

那么，哪里出了问题呢？

• 最小二乘法的目标：使得训练集中的真实集与回归模型的估计值的均方差最小；
• 我们的目标：测试集中的真实值与回归模型的估计值的差异最小

最小二乘法的目标 == 我们的目标？

举个栗子：

有一系列参数 $w_i$

$w_0$	$w_1$	$w_2$	$w_3$	$w_4$
1	1	1	1	6

当 $w_4$ 过大，且其他参数对其影响很微小时候，那么这个 $w_4$ 独裁

即，只要 $w_4$ 稍微变动都会对最后的值产生重大影响，导致均方差波动很大。

那么如何防止 $w_4$ 这个变量独裁呢？

如果内部无法调控，那么就从外部入手，给它加个“手柄”（$\lambda \sum_{i=1}^{n}(w_{i})^2$）

FRidge=