机器学习(四)变量选择技术----------岭回归，Lasso

机器学习(四)变量选择技术----------岭回归，Lasso

 

我们回顾一下之前线性回归模型里面的一元线性回归模型和多元线性回归模型，里面在谈论如何找到最佳系数时，使用的是最小二乘法，在这里我们先把多元线性回归的最小二乘解简化表达一下

这里可能会有疑问的是X的第一列代表是什么，为什么全是1，第一列代表截距项

多元线性回归的最小二乘解是无偏估计的，什么是无偏估计呢？简单来说就是通过很多次实验，其中可以通过加大样本数量得出的结果求均值可以无限接近真实值，后面我们讨论的岭回归和Lasso都是有偏估计

通过上面的最小二乘估计，我们会发现存在一些问题，其广义逆会存在奇异性（不稳定），下面是出现奇异性的两种情况

一般变量比样本多这种情况会比较少，出现多重共线性的情况会多一点

 

针对上面的问题，我们来介绍岭回归和Lasso

岭回归（Ridge Regression，RR）

其实岭回归在现实应用得很少，主要是Lasso用到了岭回归的知识

通俗来说就是引入一个惩罚函数，以至于不让系数太大，下面花红框的就是惩罚函数，（3.41）与（3.42）等价

几何意义（蓝色圈就是惩罚函数，与椭圆圈相交一点就是所求岭回归参数