[机器学习]机器学习笔记07—模型的评估与选择

本文介绍模型评估与选择的方法,包括训练误差、测试误差等概念,以及留出法、交叉验证法、自助法等评估方法,并讨论了性能度量指标如错误率、查准率、查全率等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一 名词解释

训练误差:模型在训练集上的误差. 

二 模型选择与评估方法

通常为了选择适当的模型,我们需要对该模型进行评估,可以使用实验测试对模型的泛化误差进行比较,因此,需要测试集。用测试误差来近似泛化误差。 

具体方法

1、留出法

直接将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另一个作为测试集T,即有 

注意点 

2、交叉验证法

通过分层采样的方式从中将数据集划分为k个大小相似的互斥子集。选k-1个子集的并集作为训练集,余下作为测试集。 640?wx_fmt=png 

3、自助法

数据集D中包含m个样本,从中随机随机挑选一个样本,拷贝到D* 中,然后放回,重复这个过程m次,则D中有一部分样本会在D* 

4、调参

对算法参数进行设定,参数调节。调参需要注意,常用的做法是对每个参数选定一个范围与变化步长,在计算开销与性能估计之间折中。

5.最终模型

对于m个样本的数据集D,训练出模型并选择完成后,学习算法与参数配置都已选定,还需要用数据集D重新训练,这个模型才是我们的最终模型。

三 性能度量

性能度量: 对学习器的泛化性能进行评估,不仅需要有效可行的实验评估方法,还需要有模型泛化能力的评价标准。这就是性能度量。 均方误差: 640?wx_fmt=png 640?wx_fmt=png

错误率与精度

错误率就是分类错误的样本占样本总数的比例;精度就是分类正确的样本占样本总数的比例, 对于样例D,分类错误率定义为: 640?wx_fmt=png 640?wx_fmt=png 640?wx_fmt=png

查全率、查准率与F1

对于分类问题我们可以将样例与预测类别的组合划分为真正例(TP)、假正例(FP)、真反例(TN)、假反例(FN),显然有TP+FP+TN+FN=样例总数,混淆矩阵如下: 640?wx_fmt=png 640?wx_fmt=png 

F1度量

F1度量更为实用 640?wx_fmt=png

F1度量的一般形式-Fβ 640?wx_fmt=png 

ROC与AUC

ROC曲线是“受试者工作特征”曲线,是用来衡量学习器泛化能力性能的有力工具, 640?wx_fmt=png640?wx_fmt=png 640?wx_fmt=png

参考

frankstars.基于《机器学习》学习整理- chapter 2

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值