线性回归——局部加权回归

有时候样本的波动很明显，可以采用局部加权回归，如下图，红色的线为局部加权回归的结果，

蓝色的线为普通的多项式回归的结果。蓝色的线有一些欠拟合了。

多项式回归——多一些 高次项的回归

局部加权回归的方法如下，首先看线性或多项式回归的损失函数 

很明显，局部加权回归在每一次预测新样本时都会重新确定参数，以达到更好的预测效果。当数据规模比较大的时候计算量很大，学习效率很低。并且局部加权回归也不是一定就是避免underfitting，因为那些波动的样本可能是异常值或者数据噪声。

 

多项式曲线拟合 - 知乎
https://zhuanlan.zhihu.com/p/53056358