机器学习笔记（一）：模型评估与选择

经验误差与过拟合

经验误差：学习器的实际预测输出与样本的真实输出之间的差异称为“误差”，学习器在训练集上的误差称为“训练误差”或“经验误差”。
过拟合：当学习器把训练样本学的‘太好’的时候，很可能把训练样自身的一些特点当作所有潜在样本都会具有的一般性质，这样就会导致泛化性能力下降，这种现象在机器学习中称为“过拟合”。与过拟合相对的是欠拟合，这种是指对训练样本的一般性质尚未学好。

评估方法

留出法：
直接将数据集D划分为两个互斥的集合，一个为训练集，另一个为测试集，然后在训练集上训练出模型，用测试集来评估测试误差，作为对泛化误差的估计。（常用做法就是将2/3、4/5的样本用于训练，剩余用于测试）

交叉验证法：
将数据集D划分为K个大小相似的互斥子集，然后每次用K-1个子集的并集作为训练集，余下的那个子集作为测试集 。可进行K次训练和测试，最终返回的是K个测试的结果的均值。这种方法评估结果的稳定性和保真性很大程度取决于K。K最常用的取值是10，其它为2、20
当K=M（总共只有M个样本）时，得到的交叉验证法的一个特例：留一法。

自助法：
优点就是减少训练样本规模不同造成的影响，同时还能比较高效地进行实验估计。

调参与最终模型：
对算法参数进行设定。

性能度量:
是衡量模型泛化能力的评价标准

错误率与精度：
错误率：是指分类错误样本占样本总数的比例；
精度：分类正确样本占样本总数的比例；

查准率、查全率与F1：

ROC与AUC：

代价敏感错误率与代价曲线：

比较检验：
假设检验、交叉验证t检验、Friedman检验与Nemenyi后续检验、偏差与方差