吴恩达——机器学习 局部加权回归(Loess)

先介绍参数学习方法和非参数学习方法：

参数学习方法：有固定数目的参数， 比如线性回归和逻辑回归中的

非参数学习方法：参数的数目会随着训练集的大小呈线性增长，比如局部加权回归

局部加权回归(Locally Weighted Regression, Loess)

如果有一个类似下图的数据集（图片来源：https://blog.youkuaiyun.com/qsczse943062710/article/details/55657700）：

采用线性回归会出现欠拟合(underfitting),这种情况下，Loess可以很好地解决这个问题。

与线性回归对比：

线性回归的目标是最小化

Loess的目标是最小化， 其中

的作用是使预测点的临近点在最小化目标函数中贡献大：

Loess更加注重临近点的精确拟合。

控制全职随距离下降的速率。

缺点：并不能解决欠拟合和过拟合问题；当数据量很大时，要对每个带预测数据拟合一次，代价大