机器学习笔记(一):模型评估与选择

本文深入探讨了机器学习中的关键概念,包括经验误差与过拟合现象,详细讲解了评估模型性能的方法,如留出法、交叉验证法及自助法,并介绍了如何通过调整参数提升模型表现,最后列举了多种性能度量指标。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

经验误差与过拟合

经验误差:学习器的实际预测输出与样本的真实输出之间的差异称为“误差”,学习器在训练集上的误差称为“训练误差”或“经验误差”。
过拟合:当学习器把训练样本学的‘太好’的时候,很可能把训练样自身的一些特点当作所有潜在样本都会具有的一般性质,这样就会导致泛化性能力下降,这种现象在机器学习中称为“过拟合”。与过拟合相对的是欠拟合,这种是指对训练样本的一般性质尚未学好。

评估方法

留出法:
直接将数据集D划分为两个互斥的集合,一个为训练集,另一个为测试集,然后在训练集上训练出模型,用测试集来评估测试误差,作为对泛化误差的估计。(常用做法就是将2/3、4/5的样本用于训练,剩余用于测试)

交叉验证法
将数据集D划分为K个大小相似的互斥子集,然后每次用K-1个子集的并集作为训练集,余下的那个子集作为测试集 。可进行K次训练和测试,最终返回的是K个测试的结果的均值。这种方法评估结果的稳定性和保真性很大程度取决于K。K最常用的取值是10,其它为2、20
当K=M(总共只有M个样本)时,得到的交叉验证法的一个特例:留一法

自助法
优点就是减少训练样本规模不同造成的影响,同时还能比较高效地进行实验估计。

调参与最终模型:
对算法参数进行设定。

性能度量:
是衡量模型泛化能力的评价标准

错误率与精度:
错误率:是指分类错误样本占样本总数的比例;
精度:分类正确样本占样本总数的比例;

查准率、查全率与F1:

ROC与AUC:

代价敏感错误率与代价曲线:

比较检验
假设检验、交叉验证t检验、Friedman检验与Nemenyi后续检验、偏差与方差

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值