机器学习（周志华） 学习笔记 -- 模型的评估与选择

1.错误率（error rate）和精度 (accuracy)

分类错误的样本数占样本总数的比例成为错误率， 分类正确的样本数占样本总数的比例称为精度

例：m个样本中，有a个样本分类错误 

错误率 E = a/m    精度 A = 1 - a/m

 

2.误差（error）, 经验误差（empirical error) ，泛化误差（generalization error）

误差（error）：实际预测输出和训练样本的真实输出之间的差异为误差

经验误差（empirical）：学习器在训练集上的误差称为经验误差（empirical error）

泛化误差（generalization error）：在新样本上的误差称为泛化误差（generalization）

 

3.过拟合(overfitting)和欠拟合(underfitting)   

欠拟合（underfitting） 对训练样本的一般性质尚未学好。

过拟合（overfitting）   学习器将训练集中样本的一些特点，当成了所有潜在样本都会具有的一般性质。

（对一个带锯齿的绿色树叶进行学习，   例如 ： 过拟合->  误认为带锯齿是绿色树叶的必要条件

                                                                         欠拟合->  认为绿的的就是树叶 ）

 

4. 模型的评估和选择的困难

现实中多种算法可供选择，甚至对于同一个学习算法当使用不同的参数配置时，也会产生不同的模型。

模型选择的理想方法是对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型

困难： 无法直接获得泛化误差(generalization error )，训练误差存在过拟合，不适合作为标准

 

5. 评估方法 

      通过实验测试，对学习器的泛化误差进行评估，并且进而做出选择，为此，需要使用一个测试集来测试学习器对新样本的学习能力， 以测试集上的测试误差（testing error）作为泛化误差的近似。