CS229局部加权线性回归

在线性回归中，由于最终拟合出来的曲线是一条直线，其拟合能力极为有限（也可以解释为线性回归所求的是具有最小均方误差的无偏估计）一次很容易出现欠拟合的现象，针对这个问题我们提出局部加权线性回归（LWLR）
LWLR的思想：我们对一个输入x进行预测时，赋予x周围点不同的权值，距离x越近，权重越高。整个学习过程中误差将会取决于x周围的误差，而不是整体的误差。
其权值规定为：

权重随距离的衰减程度随tau的值改变而改变，如下图所示tau值越大bandwidth越大，权重随距离的增加衰减的越慢。

在LWLR中损失函数为：

对$\theta$求导的：

令导数为0得：

LWLR是一种非参数算法，线性回归是由参数的算法，通过计算得到的θ是固定的，在往后的计算过程中不再保留训练样本进行进一步的预测了，而LWLR是保留整个训练样本，每次预测得到不同的参数θ。

参考文献：https://blog.youkuaiyun.com/qq_31589695/article/details/79825189