机器学习模型评估与选择

1 经验误差与过拟合

误差：学习器的实际预测输出与样本的真实输出之间的差异
经验误差(训练误差)：学习器在训练集上的误差
泛化误差：学习器在新样本上的误差
通过训练希望得到泛化误差小的学习器。

过拟合：学习器把训练样本本身的一些特点作为了所有潜在样本都汇聚有的一般性质，导致泛化性能下降。
欠拟合：对训练样本的一般性质没有学习好。

2 评估方法

测试集应尽可能与训练集互斥。若只有m个样例的数据集中，既要训练，又要测试，怎么产生训练集和测试集，方法如下：

2.1 留出法

直接将数据集分为两个互斥的集合，一个作为训练，一个作为测试。训练集和测试集要尽可能保持数据分布的一致。

2.2 交叉验证法

先将数据集划分为k个大小相似的互斥子集，每次用k-1个子集的并集进行训练，剩下的子集作为测试，获得k次测试结果的均值。称为k折交叉验证。

2.3 性能度量

查准率和查全率的调和平均F1。

其中β衡量了查全率和查准率的相对重要性，β=1时退化为标准的F1，β>1查全率更大影响，β<1时查准率更大影响。