第三节：欠拟合与过拟合的概念

1. OutLine

上一节中讲了线性回归，这次要讲它的一种变化版本，称之为局部加权回归（locallyweighted regression），它是一个非常流行的算法。之后会讨论另外一种可能的对于线性回归的解释（probabilistic interpretation），并且基于它来开始讲第一个分类算法：逻辑回归（Logistic regression），之后简要地讲一些额外的关于感知器算法（perceptron algorithm）的知识，我们之后还会讲到它。最后，是牛顿方法。

2. 上节课程内容回顾

欠拟合（Underfitting）和过拟合（Overfitting ）都是特征选择中存在的问题，下面我们讲到的非参数学习算法，可以缓解你们对于选取特征的需求，这会引出我们队局部加权回归的讨论。

参数学习算法（“Parametric”learning algorithm），它是一类有固定数目的参数，以用来进行数据拟合的算法，所以在线性回归中，我们有一个固定的参数集合。

非参数学习算法（“Non-parametric”learning algorithm），它是一个参数数量会随着m增长的算法。也就是说，算法所需要的东西会随着训练集合线性增长。或者换句话说，算法的维持是基于整个训练集合的，即使在学习以后。

3. 局部加权回归（Locally weighted regression / Loess）

因为该算法是非参数学习算法，所以我们不用担心对于特征的选择。

问题：对于上面这个图，要估计在x点对应y的值。

逻辑回归给出的方法是：

在局部加权回归中，我们做的问题就有所不同了。

根据上面公式我们可以知道：离目标较近的点会得到一个较大的权值；离目标较远的点会获得一个较小的权值。因此，使用这种权值计算方法的效果是，通过使用局部加权回归拟合出一组参数向量，来更多地注重对邻近点的精确拟合，同时忽略那些离得很远的点的贡献。