机器学习第二章-模型评估与选择

目录

2.1经验误差与过拟合

2.2评估方法

2.2.1留出法

2.2.2交叉验证法

2.2.3自助法

2.3性能度量

2.3.1错误率与精度

2.3.2查准率，查全率与F1

2.3.3ROC与AUC

2.3.4代价敏感错误率与代价曲线

2.4比较检验

2.4.1假设检验

2.4.2交叉验证 t检验

2.4.3McNemar检验

2.5偏差与方差

---

2.1经验误差与过拟合

        分类错误的样本数占样本总数的比例称为"错误率"，在m个样本中有a个样本分类错误，则错误率 E= a/m;1-a/m为精度。

        学习器的实际预测输出与样本的真实输出之间的差异称为"误差"，学习器在训练集上的误差称为"训练误差"，，在新样本上的误差称为"泛化误差"。

        当学习器把训练样本学得"太 好"了的时候，很可能巳经把训练样本自身的一些特点当作了所有潜在样本都 会具有的一般性质，这样就会导致泛化性能下降，这种现象在机器学习中称为 "过拟合"。

2.2评估方法

        测试集测试学习器对新样本的判别能力 

        测试集应该尽可能与训练集互斥

2.2.1留出法

        "留出法"将数据集划分为两个互斥的集合，其中一个集合作为训练集 ，另一个作为测试集。

        将原始数据集随机划分为两部分，一部分用于训练模型，另一部分用于评估模型的性能。通常情况下，可以按照比例（如70%训练集和30%测试集）进行划分。

        使用训练集来训练机器学习模型，学习模型的参数和规律。使用测试集来评估模型的性能和泛化能力。

        测试集数据在训练过程中未被模型使用，因此可以客观地反映模型对未见过数据的预测能力。根据测试集上的表现，可以调整模型的超参数或选择不同的算法，以提升模型的性能。

2.2.2交叉验证法

        将原始数据集划分为K个子集，称为折（folds），然后进行K次模型训练和验证。对于每一个折，将其作为验证集，其余K-1个折作为训练集。在训练集上训练模型，然后在对应的验证集上评估模型性能。

        将K次验证结果的平均值作为最终模型的性能指标。通常使用评估指标如准确率、精确度、召回率、F1分数等来衡量模型在不同折上的表现。
        可以在每次交叉验证过程中调整模型的超参数，选择最优的模型参数。