吃瓜教程task01 第2章模型评估与选择

雾切凉宫

已于 2022-05-16 21:08:02 修改

阅读量260

点赞数

分类专栏：吃瓜教程文章标签：机器学习深度学习人工智能

于 2022-05-15 20:56:11 首次发布

本文链接：https://blog.youkuaiyun.com/qq_31254785/article/details/124787872

版权

本文介绍了模型评估的关键概念，包括经验误差、泛化误差、过拟合和欠拟合。探讨了不同的评估方法，如留出法、交叉验证法和自助法，并强调了参数调参的重要性。此外，还讨论了错误率、精度、查准率、查全率以及F1度量在性能评估中的作用，特别是它们在平衡查准率和查全率中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第二章模型评估与选择

2022/5/15 雾切凉宫至2.3.3节

2.1 经验误差与过拟合

中文名	英文名	意义
训练误差/经验误差	training error/empirical error	学习器在训练集的误差
泛化误差	generalization error	在新样本上的误差
过拟合	overfitting	学习能力过于强大
欠拟合	underfitting	学习能力低下

2.2 评估方法

通过实验测试来对学习器的泛化误差进行评估

2.2.1 留出法

留出法(hold-out)直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S,另一个作为测试集T,即D= SUT, S∩T=0.在S上训
练出模型后,用T来评估其测试误差，作为对泛化误差的估计。

2.2.2 交叉验证法

“交叉验证法”(cross validation)先将数据集D划分为k个大小相似的互斥子集。每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集;这样就可获得k组训练/测试集，从而可进行k次训练和测试，通常把交叉验证法称为“k折交叉验证”(k-fold cross validation)。k最常用的取值是10，此