线性回归算法和一些技巧

1 基本概念

1.1 工作原理

做线性回归时，我们通常会使用“普通最小二乘法”，即将目标函数定为平方误差 ，对w求导，令其为零得

这是当前可以估计出的w的最优解，即回归方程的参数。

2.1 局部加权线性回归

线性回归的一个问题是可能出现欠拟合现象（测试误差高），因为它求的是最小均方误差的无偏估计。所以我们允许在估计中引入一些偏差，从而降低预测的均方误差。

我们考虑的是局部加权，给带预测点附近的每个点赋予一定的权重，然后在给予最小均方差进行回归。权重的赋予方法是使用核函数，离预测点越近的点，权重越大（程度与用户