机器学习西瓜书—第二章 模型评估与选择（学习笔记 1）

2.1 经验误差与过拟合

分类错误的样本数占样本总数的比例称为错误率（error rate）,即如果在m个样本中有a个样本分类错误，则错误率E=a/m;

1 - a/m称为精度（accuracy）,即精度=1-错误率。

学习器的实际预测输出与样本的真实输出之间的差异称为误差（error）。

学习器在训练集上的误差称为训练误差（training error）或经验误差（empirical error）。在新样本上的误差称为 泛化误差（generalization error）。

当学习器把训练样本学得太好，即很有可能将训练样本自身的一些特点当做了潜在样本会具有的一般性质，这样就会导致泛化性能下降，这种现象在机器学习中称为过拟合（overfitting）。当学习器对训练样本的一般性质都未学好时，称为欠拟合（underfitting）。

过拟合是机器学习面临的关键障碍，对于各类学习算法来说，过拟合是无法彻底避免的，只能缓解。

 

2.2 评估方法

模型选择问题：选用哪个学习算法？选用哪种参数配置？

通过实验测试来对学习器的泛化误差进行评估进而选择模型。为此，需要一个测试集（testing set）来测试学习器对新样本的判别能力，然后以测试集上的测试误差（testing error）作为泛化误差的近