第三课 欠拟合与过拟合的概念

一.欠拟合与过拟合

上次课的例子中，用x1表示房间大小。通过线性回归，在横轴为房间大小，纵轴为价格的图中，画出拟合曲线。回归的曲线方程为：

 

若定义特征集合为：x1表示房子大小，x2表示房子大小的平方，使用相同的算法，拟合得到一个二次函数，在图中即为一个抛物线，即：

以此类推，若训练集有7个数据，则可拟合出最高6次的多项式，可以找到一条完美的曲线，该曲线经过每个数据点。但是这样的模型又过于复杂，拟合结果仅仅反映了所给的特定数据的特质，不具有通过房屋大小来估计房价的普遍性。而线性回归的结果可能无法捕获所有训练集的信息。

所以上诉的三种拟合方法中，第二种最好。第一种为欠拟合的情况，第二种为过拟合的情况。

欠拟合：在这种情况下，数据中的某些非常明显的模式没有被成功的拟合出来。

过拟合：这种情况下，算法拟合出的结果仅反映了所给的特定数据的特质。

 

参数学习算法（parametric learning algorithm）

定义：参数学习算法是一类有固定数目参数，以用来进行数据拟合的算法。设该固定的参数集合为