西瓜书读书笔记之模型评估与选择（三）

最新推荐文章于 2025-10-07 17:53:24 发布
原创 最新推荐文章于 2025-10-07 17:53:24 发布 · 391 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了模型评估中的统计检验方法，包括假设检验、交叉验证t检验、McNemar检验以及Friedman检验和Nemenyi后续检验。强调了在评估过程中考虑泛化误差、偏差与方差的重要性，以及处理测试错误率相关性的方法。

2.4 比较检验

  • 问题：
  1. 希望比较的是泛化技能，实验评估方法得到的是测试集上的性能’
  2. 测试集上的性能与测试集本身的选择有很大关系。大小、包含测试样例的不同，都会影响测试结果。
  3. 很多学习算法有一定随机性
  • 采用统计假设检验

2.4.1 假设检验

  • 学习器泛化错误率为\epsilon，测试错误率为\hat\epsilon，在包含m个样本的测试集上，泛化错误率为\epsilon的学习器被测得测试错误率为\hat\epsilon的概率为：
最低0.47元/天 解锁文章
周志华机器学习西瓜书第二章 模型评估与选择学习笔记
Sodas的博客
01-17 1255
西瓜书第二章，加入了很多自己的理解。
机器学习西瓜书啃书笔记—模型评估与选择(2)
脑瓜子嗡嗡的小刘
10-22 735
机器学习啃书笔记——模型评估与选择2.1 经验误差与过拟合2.2 评估方法2.2.1 留出法2.2.2 交叉验证法2.2.3 自主法2.2.4 调参与最终模型2.3 性能度量2.3.1 错误率(error)与精度(accuracy)2.3.2 查准率、查全率与F12.3.3 ROC与ACC2.4 比较经验2.4.1 比较检验2.4.2 交叉验证t检验2.4.3 McNemar检验2.4.4 Friedman检验与Nemenyi后续检验2.5 偏差与方差2.6 阅读材料总结 2.1 经验误差与过拟合 2.2
【西瓜书】模型评估与选择
krstin_chu的博客
09-06 557
机器学习，基础，
西瓜书的读书笔记
diaolu7750的博客
02-19 153
机器学习，致力于如何通过计算的手段，利用经验来改善自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法。有了学习算法，我们把经验提供给它，它就能基于这些数据产生模型；在面对新的情况时（例如看到一个没剥开的西瓜），模型会给我们提供相应的判断（例如好瓜）。 [Mitchell ,1997]形式化的定义：假设用...
Friedman检验 及其相关的排序（Ranking）
最新发布
weixin_44012667的博客
10-07 823
概念解释与计算Friedman检验一种基于排名的非参数检验，用于判断多个相关样本（如多个算法在多个数据集上的表现）是否存在显著差异。平均排名（$R_j \）每个算法在所有数据集上排名的平均值。这是Friedman排名的直接依据，值越小表示综合性能越好。Nemenyi检验Friedman检验显著后使用的事后检验，用于两两比较。关键差异（CD）CDqαkk16NCDqα​6Nkk1​​。两个算法的平均排名之差必须大于CD值，其差异才被认为是统计显著的。CD图。
西瓜书——模型评估与选择
zjw120的博客
12-13 981
西瓜书——模型评估与选择
西瓜书之模型评估与选择
qq_62904883的博客
10-11 603
简单介绍一下如何对模型以及算法的优点以及缺点的严谨性方法以及如何进行评估
西瓜书读书笔记——模型评估与选择
qq_16608563的博客
10-17 627
1 、经验误差与过拟合 我们把学习器的实际输出与样本的真实输出之间的差异称为"误差" 学习器在训练集上的误差称为"训练误差" 或经验误差 在新样本上的误差称为"泛化误差" 显然，我们希望得到泛化误差小的学习器，然而，我们事先并不知道新样本什么样，实际能做的就是努力使经验误差最小化。 我们实际希望的，是在新样本上能表现的很好的学习器，为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的"...
【机器学习西瓜书学习笔记——模型评估与选择】
m0_51148715的博客
07-25 825
若一个学习器的 ROC 曲线被另个学习器的曲线完全“包住”，则可断言后者的性能优于前者;我们通常会把学习器的实际预测输出与样本的真实输出之间的差异称为误差。以查准率为纵轴、查全率为横轴作图,就得到了查准率-查全率曲线,简称**“P-R曲线”**，显示该曲线的图称为“P-R图”.③查准率越高，说明模型预测结果中真正例的比例越高，模型对于正样本的识别能力越强。③查全率越高，说明模型能够成功预测出的正样本比例越高，模型的识别能力越全面。目的：对于一个模型，根据p不同，找到使得代价总期望最小的模型的阈值。
西瓜书模型评估与选择
ygp12345的博客
08-27 377
经验误差和过拟合 一句话概括就是训练集的样本要尽可能好，尽可能准确，机器才会学到好的经验，这样预测才准确。 过拟合就是加入了一些无关痛痒的特征，比如上图，是不是树叶跟有没有锯齿没有关系，所以有无锯齿不能作为特征；欠拟合指的是特征太少导致无法准确预测。 评估方法 不管什么评估方法，测试样本与训练样本要尽可能不同。 留出法 留出法简言之就是将已有数据集的80%作为训练集，20%作为测试集，通常是这么分的。然后要保证训练集里面正反例的比例与测试集的正反例比例要相同，这样才均匀。然后取样顺序也有可能导致不
机器学习（西瓜书）-模型评估与选择
平平酱的博客
08-30 884
模型评估与选择2.1 经验误差与过拟合 2.1 经验误差与过拟合 如果在 m 个样本中有 a 个样本分类错误，则错误率 E= a/m; 相应的，精度为1 - a/m 。 我们将学习器对样本的实际预测结果与样本的真实值之间的差异成为：误差（error）。定义： 在训练集上的误差称为训练误差（training error）或经验误差（empirical error）。 在测试集上的误差称为测试误差（test error）。 学习器在所有新样本上的误差称为泛化误差（generalization error）。
【机器学习】西瓜书第二章——模型评估与选择
Douglas的博客
08-22 1320
西瓜书第二章的内容
西瓜书学习笔记之模型评估与选择
pt798633929的博客
11-24 780
2.1 经验误差与过拟合 2.1.1 一些概念 错误率(error rate)：分类错误的样本占样本总数的比例 精度(accuracy)：1 - 错误率 误差(error)：学习器的实际预测输出与样本的真实输出之间的差异 训练误差(training error) | 经验误差(empirical error)：学习器在训练集上的误差 泛化误差(generalization error)：在新样本上...
西瓜书读书笔记之模型评估与选择（一）
wxl1999的博客
02-09 322
2.1 经验误差与过拟合 错误率：分类错误的样本数占样本总数的比例 精度 = 1 - 错误率 误差   2.2 评估方法 以测试集上的测试误差作为泛化误差的近似 测试样本尽量不在训练集中出现、未在训练集中使用过 2.2.1 留出法 直接将数据集D划分为两个互斥的集合，一个是训练集S，另一个是测试集T，即。 数据集的划分要尽可能保持数据分布的一致性，避免引入额外偏差。比如，在分类...
西瓜书学习笔记——第二章：模型评估与选择
Andrewings
06-20 1729
第2章：模型评估与选择2.1 经验误差与过拟合2.1.1 一些概念2.1.2 过拟合与欠拟合2.2 学习器泛化误差评估方法2.2.1 留出法2.2.2 交叉验证法交叉验证法的特例：留一法2.2.3 自助法（适合小数据集）2.2.4 调参与最终模型训练集，测试集，验证集2.3 性能度量（衡量模型泛化能力的标准）2.3.1 错误率与精度2.3.2 查准率、查全率与F1查准率-查全率曲线（P-R曲线） ...
机器学习笔记2.模型评估于选择----教材周志华西瓜书
lanyifenghua的博客
09-29 566
2.1经验误差和过拟合 错误率：分类错误的样本数占样本总数的比例。m个样本中有a个样本分类错误，E=a/m。 精度：1-a/m  即1-E 误差：实际预测输出与样本真实的输出之间的差异。 训练误差又叫经验误差：学习器在训练集上的误差。 测试误差：学习器在测试集上的误差。 泛化误差：学习器在新样本上的误差。 我们希望得到的是泛化误差小的学习器。但我们实际能做的是努力使经验误差最小化
西瓜书-第二章·模型评估与选择
2302_78976920的博客
05-07 998
在上一章我们知道了什么是机器学习。其中我们提到了最重要的是算法学习，当我们用算法得到某种模型的时候，我们可以如何去判断他的一个好坏呢？因此接下来我们继续学习-模型评估与选择。
西瓜书学习笔记（第二章、模型评估与选择）
m0_56644478的博客
08-01 481
如此可知，代价线段必然经过（0，FPR）和（1，FNR）两点，根据ROC曲线上的每个点（FPR，TPR），可计算出FNR（FNR=1-TPR），进而可以通过两点绘制出线段。与留出法相似，划分方式同样多种，这里为了减少因样本划分不同而带来的差别，k折交叉验证通常也要随机使用不同的划分方式重复p次，最终的评估结果是这p次k折交叉验证的结果，比较常见的有“10次10折交叉验证”。如开头所介绍的两种最常用的度量，错误率是指分类错误的样本数占样本总数的比例，精度则是指分类正确的样本数占样本总数的比例。
机器学习入门：西瓜书笔记与模型评估算法代码
机器学习西瓜书学习笔记涵盖了机器学习的基础理论和实践应用，特别指出了模型评估与选择以及线性模型的重要性。以下是详细的知识点概述： 1. 经验误差与过拟合：在机器学习中，经验误差是指模型在训练数据上的错误...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值