《机器学习》（周志华）学习笔记（二）模型评估与选择

最新推荐文章于 2025-01-17 18:40:35 发布
最新推荐文章于 2025-01-17 18:40:35 发布
阅读量339 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gp2299/article/details/72575940
版权

一、经验误差与过拟合


误差：学习器的实际预测输出与样本的真实输出之间的差异。


训练误差：学习器在训练集上的误差。


泛化误差：在新样本上的误差。


过拟合与欠拟合问题

P.S NP问题为非确定性多项式（non-deterministic polynomial），只可用一定数量的运算解决多项式时间内可解决的问题（多项式时间：在计算复杂度理论中，指的是一个问题的计算时间m(n)不大于问题大小n的多项式倍数）

参考博文：http://blog.youkuaiyun.com/u014295667/article/details/47090639

二、评估方法

1、留出法

将数据集D划分成两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即D=S∪T，S∩T=Φ

牛奶蜜糖
关注
读书笔记：《机器学习》周志华
houjing1990的博客
03-05 2272
《机器学习》周志华 第一章：绪论 泛化能力：学到模型适用于新样本的能力。衍生：泛化误差 归纳偏好：算法在机器学习过程中对某种假设的偏好 “奥卡姆剃刀”原则：若有多个假设与观察一致，则选最简单的那个 NFL定理：没有免费的午餐。算法没有优劣好坏，针对具体问题具体分析 第二章：模型评估与选择 2.1经验误差与过拟合P23 过拟合：为了得到一致假设而使假设变的过度复杂。模型过度拟合，在训
周志华《Machine Learning》学习笔记（2）--性能度量
VAY-长跑
11-20 7721
本篇主要是对第二章剩余知识的理解，包括：性能度量、比较检验和偏差与方差，写到后面发现篇幅冗长读起来十分没有快感，故本篇主要知识点为性能度量。
2021-07-10
sen77729的博客
07-12 159
机器学习西瓜书–第二章总结 1.经验误差与过拟合： （1）所谓的误差，就是学习器的实际预测输出与样本的真实输出之间的差异称为“误差”，学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”。 （2）我们所需要的就是在新样本上能表现得很好的学习器，但是，当学习器的泛化能力很强时，就会出现过拟合现象，出现过拟合的学习器可能已经把训练样本的自身的一些特点当作了所有潜在样本都会具有的一般性质。 例如：我们做一个小狗的识别学习器，泛化能力很强时，当我们把一张猫咪的图片当作输入数据，此小
模型评估与选择
dzysunshine的博客
10-11 1599
1.经验误差与过拟合 我们把学习器的实际预测输出与样本的真实输出之间的差异称为"误差" (error) ,学习器在训练集上的误差称为"训练误差" (training error)或"经验误 差" (empirical error) ，在新样本上的误差称为&
<机器学习>(周志华)读书笔记 -- 第二章 模型评估与选择
ANONYMOUSLYCN的专栏
02-13 3133
2.1  经验误差与过拟合 通常,我们使用"错误率"来表示分类中错误的样本占总样本的比例.如果m个样本中有a个错误样本则错误率E=a/m ,对应的,1-a/m称为精度,即"精度"=1-"错误率".更一般的情况来说,我们把机器学习的预测输出和样本真实输出之间的差异称为"训练误差"或者"经验误差". 一般来说,如果在训练集中的表现精度高,而在测试集中表现的精度小,一般是过拟合.相反,如果是精度都
《机器学习by周志华》学习笔记-模型评估与选择-03比较检验法
vanilla698的博客
03-21 1960
通过比较检验方法进行假设检验、交叉验证t检验、5✖️2交叉验证、卡方检验等方式比较学习器、模型、算法的性能。
《机器学习by周志华》学习笔记-模型评估与选择-02模型性能度量
vanilla698的博客
02-29 547
本章主要对模型的性能指标错误率、精度（正确率）、查准率（准确率）、查全率（召回率）、F1指标、平衡点、ROC、AUC、代价敏感错误率、代价曲线、期望总体代价等做了详细的描述。
（读书笔记）周志华-机器学习-第二章 模型评估与选择
Aylson的博客
08-08 1301
1.错误率（分类错误的样本数占样本总数的比例），即如果在 m 个样本中有α个样本分类错误，则错误率E=α/m;2.精度（1-错误率）即1-a/m；3.误差（学习器的实际预测输出与样本的真实输出之间的差异）；训练误差/经验误差（学习器在训练集上的误差）；泛化误差（在新样本上的误差）；我们实际希望的，是在新样本上能表现得很好的学习器.为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的"普遍规律"，这样才能在遇到新样本时做出正确的判别。基于这个会出现“过拟合”和“欠拟合”两种现象。
《机器学习by周志华》学习笔记-模型评估与选择-04偏差与方差
vanilla698的博客
04-01 566
偏差-方差分解（bias-variance decomposition）」是解释学习器泛化性能的一种重要工具。「偏差」学习器期望预测与真实结果的偏离程度。「方差」同样大小训练集的变动会导致学习器性能变化的度量。「噪声」表达了在当前任务下，学习器所能达到的期望泛化误差的下界。
周志华机器学习西瓜书第二章 模型评估与选择学习笔记
Sodas的博客
01-17 958
西瓜书第二章，加入了很多自己的理解。
机器学习（周志华）- 第2章模型评估与选择笔记
PacosonSWJTU的博客
03-02 3964
转自： https://samanthachen.github.io/2016/08/03/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0_%E5%91%A8%E5%BF%97%E5%8D%8E_%E7%AC%94%E8%AE%B02/ 经验误差与过拟合 错误率： 分类错误样本数占样本总数 精度： 1 - 错误率 误差：学习器事假预测输出样本与样本真实输出
周志华《Machine Learning》学习笔记（3）--假设检验、方差与偏差
热门推荐
VAY-长跑
12-04 1万+
本篇延续上一篇的内容，主要讨论了比较检验、方差与偏差。
机器学习——第二章 模型评估与选择
Env1sage的博客
08-27 407
2.1 经验误差与过拟合 分类错误的样本数占样本总数的比例称为“错误率（error rate）”，即m个样本中有a个样本分类错误，则错误率为E=a/mE = a/mE=a/m。 1−a/m1-a/m1−a/m则称为“精度（accuracy）”。 学习器的实际预测输出与样本的真实输出之间的差异称为“误差（error）”或“误差期望”。 学习器在训练集上的误差称为“训练误差（training error）”或“经验误差（empirical error）”，在新样本上的误差称为“泛化误差（generalizat
《机器学习》 -- 周志华 （第二章学习笔记）
Cristal_yin的博客
07-08 1819
模型评估与选择经验误差与过拟合误差 一般的把机器学习器在训练集上的误差成为训练误差或者经验误差 在新样本上的误差称为泛化误差 过拟合已经把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这样的现象叫做过拟合，与之相对的是“欠拟合”泛化误差 vs 经验误差 泛化误差 ： 在 “未来”样本上的误差 经验误差：在训练集上的误差，亦称“训练误差” 泛化误差越小越好，但是
模型评估与选择（番外1）-比较检验与偏方差分析
qingyun_wudaoletu的博客
11-23 3336
主要参考博客： 1.理解机器学习中的偏差与方差 2.周志华《机器学习》笔记：2、模型评估与选择 3.机器学习模型性能评估方法笔记比较检验前面介绍了各种性能度量方式，但是其度量的是模型在测试集下的测试误差的性能状况，虽然其可以近似代替泛化性能，但毕竟与真实的泛化性能有一定的距离，在这里我们介绍通过假设检验的方式，利用测试误差来预估泛化误差从而得到模型的泛化性能情况，即基于假设检验结果我们可以推断
机器学习（九） - - 模型评估和选择④比较检验
朱铭德的博客
10-08 7659
比较两个模型好坏
2.模型性能的比较检验
【人工智能】王小草的博客
02-15 1万+
标签（空格分隔）： 王小草机器学习笔记通过模型评估的方法与性能的度量我们知道了学习器的性能指标，但是如何知道这个学习器的性能是否真的达到要求，或者如何在统计学上比较学习器A优于学习器B，以及这个把握有多大呢？在统计学上，我们使用“统计假设检验”(hypothesis test)。2.1 对单个学习器泛化性能的假设检验做了多次留出法或者交叉验证法之后，会有多个测试误差率，此时使用“t检验”(t-tes
机器学习（周志华版）读书笔记1
06-17 2339
第一章:绪论机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，”经验”通常以”数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生”模型(model)”的算法，即“学习算法”(learning algorithm)。若我们预预测的是离散值，例如“好瓜”，“坏瓜”，此类学习任务称为“分类”(classification)。若我们预预测的是连续值
周志华《Machine Learning》学习笔记（4）--线性模型
VAY-长跑
12-11 5151
笔记的前一部分主要是对机器学习预备知识的概括，包括机器学习的定义/术语、学习器性能的评估/度量以及比较，本篇之后将主要对具体的学习算法进行理解总结，本篇则主要是第3章的内容--线性模型。
周志华机器学习西瓜书第二章学习笔记
最新发布
01-24
### 关于周志华《机器学习》（西瓜书）第二章的学习笔记 #### 模型评估与选择概述 模型评估与选择是机器学习领域的重要组成部分，旨在通过合理的方法评价不同模型的表现并挑选最优者。这一过程不仅涉及如何衡量单个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值