机器学习初学者——模型评估与选择

一.经验误差与过拟合

1、错误率：

通常把分类错误的样本数占样本总数的比例称为错误率（Error rate）。

例如m个样本中有a个样本分类错误，则错误率E=a/m。相应的1-a/m 称为精度（accuracy），即精度=1-错误率。

2、误差：

1）我们把机器学习在训练集上的误差称为“训练误差”（training error）或“经验误差”（empirical error）；

2）而在新样本集的误差称为“泛化误差”（generalization error）。

显然我们要得到泛化误差小的学习器，然而很多情况下，我们并不能实现知道新样本是什么样的，实际能做的就是努力使经验误差最小化。

3、过拟合：

为了得到好的识别效果，我们希望能从训练样本中尽可能的学出适用于所有的样本的“普遍规律”。然而当学习器把训练样本学得“太好”的时候，很有可能把训练样本自身的一些特点当做了潜在新样本的特性，这样就会导致新样本的识别率减低，即泛华误差增大。这种现象称为“过拟合“（overfitting）