机器学习-线性回归、局部加权线性回归、岭回归、Lasso回归

所谓回归，简单来讲就是根据现有数据拟合出函数，然后根据该函数进行一些预测工作。分类的输出是标称型，而回归的输出为数值型。接下来介绍几种常见的全局型回归方法

一：线性回归

线性回归就是找出一个线性函数去拟合数据，使得平方误差最小。是的，这里的损失函数是平方损失。

平方误差可以写做：

 

                                                         

 

矩阵写法为：

 

                                             

 

对w求导并令其等于0，于是解出w如下：

 

                                         

 

w′即为最优解，这就是“普通最小二乘法”，当然在应用此算法之前需要的判断XTXXTX的可逆性。如果不可逆，那么此办法就不可用，应该用岭回归算法，具体在第三部分讨论。

好我们来好好讨论一下为什么不可逆就没有解，当然从数学上这很容易解释，可是直观上怎么解释呢。

我们知道：

怎么证明呢：

好的那么上面的XTX不可逆也就等价于X不可逆，那么X在上面情况下才不可逆呢，我们知道X中一行代表一个数据，一列代表一个特征&