读书笔记-《机器学习》第二章：模型评估与选择

最新推荐文章于 2025-01-17 18:40:35 发布
原创 最新推荐文章于 2025-01-17 18:40:35 发布 · 719 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了如何通过评估方法如留出法、交叉验证法及自助法来选择泛化能力强的学习模型，并介绍了性能度量标准，如错误率、查准率、查全率、ROC与AUC等。此外还分析了泛化误差的组成——偏差、方差和噪声。

第二章 模型评估与选择

  • 我们希望得到泛化误差小的学习器，然而，我们事前并不知道新样本是什么样，实际能做的是努力使经验误差最小化
  • 评估方法
    • 留出法
    • 交叉验证法
    • 自助法
  • 我们用测试集上的判别效果来估计模型在实际使用时的泛化能力，而把训练数据另外划分为训练集和验证集，基于验证集上的性能来进行模型选择和调参
  • 在模型选择完成后，学习算法和参数配置已选定，此时应该用数据集D重新训练模型。这个模型在训练过程中使用了所有m个样本，这才是我们最终提交给用户的模型
  • 性能度量
    • 错误率与精度
    • 查准率、查全率与F1
    • ROC与AUC
    • 代价敏感错误率与代价曲线：不同类型错误所造成的后果不同
  • 泛化误差可以分解为偏差、方差和噪声之和
  • 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
  • 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
  • 噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度
  • 给定学习任务，假定我们能控制学习算法的训练程度，则在训练不足时，学习器的拟合能力不够强，训练数据的扰动不足以使学习器产生显著变化，此时偏差主导了泛化错误率；随着训练程度的加深，学习器的拟合能力逐渐增强，训练数据发生的扰动渐渐能被学习器学到，方差逐渐主导了泛化错误率
  • 机器学习过程涉及许多类型的代价，除了误分类代价，还有测试代价、标记代价、属性代价等
  • 代价敏感学习专门研究非均等代价下的学习
《机器学习》（周志华）读书笔记
a_step_further的博客
03-20 3579
周志华老师的新书《机器学习》，第28页论及训练集相关的方法时，讲道 “给定包含m个样本的数据集D，在模型评估与选择过程中由于需要留出一部分数据进行评估测试，事实上我们只使用了一部分数据训练模型。因此，在模型选择完成后，学习算法和参数配置已选定，此时应该用数据集D重新训练模型。这个模型在训练过程中使用了所有m个样本，这才是我们最终提交给用户的模型。“     这里，个人有一点异议。训练数据的量级本
机器学习概论（西瓜书一二章）
qq_43689908的博客
11-19 1080
概论 基本术语 数据集：一组记录的集合，其中每条记录是关于一个事件或者对象的的描述 属性/特征：反映事件或者对象在某方面的表现或者性质的事项，属性上的取值是属性值 属性空间/样本空间/输入空间：属性张成的空间 特征向量：由于空间中的每一个点对应一个坐标向量，因此把一个事例成为特征向量 训练数据：从数据中学得模型的过程成为学习或者训练，训练过程中使用的数据称为训练数据集，其中每个样本称为一个训练样本 假设：学得模型对应了关于数据的某种潜在规律 分类问题：预测的是离散值 回归：预测的是连续值 聚类：将训练集的
《机器学习》 周志华学习笔记第二章 模型评估与选择（课后习题）
chuocuoyou8096的博客
06-07 1506
模型选择与评估 一、内容 1.经验误差与过拟合 1.1 学习器在训练集上的误差称为训练误差（training error）,在新样本上的误差称为泛化误差（generalizion error）。 1.2 当学习器把训练样本学习的“太好“了的时候，很有可能已经把训练样本自身的一些特...
周志华机器学习西瓜书学习笔记（二）上 | 第二章：模型评估与选择
2201_75859438的博客
08-29 1642
在进行比较时，若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”,则可断言后者的性能优于前者，例如图2.3中学习器A的性能优于学习器C;在很多情形下，我们可根据学习器的预测结果对样例进行排序，排在前面 的是学习器认为“最可能”是正例的样本，排在最后的则是学习器认为“最 不可能”是正例的样本，按此顺序逐个把样本作为正例进行预测，则每次可以 计算出当前的查全率、查准率，以查准率为纵轴、查全率为横轴作图，就得到 了查准率-查全率曲线，简称“P-R曲线”,显示该曲线的图称为“P-R图”这样的测试结果，亦称。
（读书笔记）周志华-机器学习-第二章 模型评估与选择
Aylson的博客
08-08 1439
1.错误率（分类错误的样本数占样本总数的比例），即如果在 m 个样本中有α个样本分类错误，则错误率E=α/m;2.精度（1-错误率）即1-a/m；3.误差（学习器的实际预测输出与样本的真实输出之间的差异）；训练误差/经验误差（学习器在训练集上的误差）；泛化误差（在新样本上的误差）；我们实际希望的，是在新样本上能表现得很好的学习器.为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的"普遍规律"，这样才能在遇到新样本时做出正确的判别。基于这个会出现“过拟合”和“欠拟合”两种现象。
周志华机器学习西瓜书学习笔记（二）下 | 第二章 ：模型评估与选择
2201_75859438的博客
08-30 1212
首先，使用留出法或交叉验证法得到每个算法在每个数据集上的测试结果，然后在每个数据集上根据测试性能由好到坏排序，并赋予序值1,2,..;例如，在D₁和D₃上，A最好、B其次、C最差， 而在D₂上，A最好、B与C性能相同，……对二分类问题，使用留出法不仅可估计出学习器A和B的测试错误率，还可获得两学习器分类结果的差别，即两者都正确、都错误、一个正确另一个错误的样本数，如；时，不能拒绝假设，即认为两学习器的性能没有显著差别。表示第 i个算法的平均序值，为简化讨论，暂不考虑平分序值的情况，则。
机器学习周志华学习笔记-第2章＜模型的评估与选择＞
ydl1128的博客
11-18 1313
机器学习周志华学习笔记-第2章<模型的评估与选择>
“西瓜书核心知识点”---第二章：模型评估与选择
多敲代码！
01-23 2454
1.错误率(error rate)： 分类错误的样本占样本总数的比例， 精度=1-错误率。 误差：学习器的实际预测输出与样本真是输出之间的差异。 训练误差or经验误差：学习器在训练集上的误差。 泛化误差：学习器在新样本上的误差。泛化误差越小越好。学的“太好了”（将训练样本本身的特点当成所有样本都会有的一般性质）就会导致泛化能力下降，即“过拟合”。“欠拟合”：对训练样本的一般性质尚未学好。 2.评估泛化误差：使用“测试集”来测试学习器对新样本的判别能力，得到“测试误差”即近似为“泛化误差”。 注意：测试集样
第二章：模型评估与选择
cherryc_的博客
12-13 1259
本系列文章仅为个人学习周志华老师西瓜书和吴恩达老师深度学习课程的学习笔记，不做任何商业传播用途！若发现有雷同，不是巧合。csdn的编辑器真的很难用。。
机器学习学习笔记——第二章：模型评估与选择
qq_45794091的博客
07-14 1084
介绍了一下如何获得一个符合需求的学习模型，涉及到一些名词解释，例如经验误差，泛化误差，过拟合，欠拟合等，获得一个好的学习模型，需要经过评估方法，性能度量，比较检验获得。
【机器学习】模型评估与选择-西瓜书第二章知识点整理
tellyW的博客
04-30 1168
前一段时间在看书的过程中并没有做笔记，知识点忘得很快。故此，在学习周华志老师的《机器学习》一书时，计划每两天学习一个章节并结合吴恩达机器学习的内容做笔记分享到博客上。本文内容非本人原创，只是为了满足自己的学习需要进行的系统整理。
周志华机器学习西瓜书第二章 模型评估与选择学习笔记
最新发布
Sodas的博客
01-17 1257
西瓜书第二章，加入了很多自己的理解。
西瓜书学习笔记——第二章：模型评估与选择
Andrewings
06-20 1730
第2章：模型评估与选择2.1 经验误差与过拟合2.1.1 一些概念2.1.2 过拟合与欠拟合2.2 学习器泛化误差评估方法2.2.1 留出法2.2.2 交叉验证法交叉验证法的特例：留一法2.2.3 自助法（适合小数据集）2.2.4 调参与最终模型训练集，测试集，验证集2.3 性能度量（衡量模型泛化能力的标准）2.3.1 错误率与精度2.3.2 查准率、查全率与F1查准率-查全率曲线（P-R曲线） ...
《机器学习by周志华》学习笔记-模型评估与选择-02模型性能度量
vanilla698的博客
02-29 657
本章主要对模型的性能指标错误率、精度（正确率）、查准率（准确率）、查全率（召回率）、F1指标、平衡点、ROC、AUC、代价敏感错误率、代价曲线、期望总体代价等做了详细的描述。
读书笔记-《机器学习》第七章：贝叶斯分类器
L.Z.的博客
05-21 1864
第七章 贝叶斯分类器 将由结果推原因转化为由原因推结果 先验概率：是根据以往经验和分析得到的概率 后验概率：事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，即由结果倒推原因 贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记 判别式模型：给定x，通过直接建模P(c|x)来预测c；决策树、BP神经网络、支持向量机等 生成式模...
读书笔记-《机器学习》第八章：集成学习
L.Z.的博客
05-23 1423
第八章 集成学习 集成学习，通过构建并结合多个学习器来完成学习任务 集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将它们结合起来 要获得好的集成，个体学习器应好而不同，即个体学习器要有一定的“准确性”，即学习器不能太坏，并且要有“多样性”，即学习器间具有差异 目前的基础学习方法大致可以分为两大类，即个体学习器间存在强依赖关系，必须串行生成的序列化方法，以及个体学习器间不存在强依...
《一天搞懂深度学习-李宏毅》大纲
L.Z.的博客
07-31 1295
Lecture I : Introduction of Deep Learning Introduction of Deep Learning Step1 : define a set of function Step2 : goodness of function Step3 : pick the best function Why Deep? "Hello World" f...
读书笔记-《机器学习》第十章：降维与度量学习
L.Z.的博客
06-28 1064
懒惰学习：在训练阶段仅仅是把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理急切学习：在训练阶段就对样本进行学习处理维数灾难：在高维情形下出现的样本数据稀疏、距离计算困难等问题缓解维数灾难的一个重要途径是降维，亦称“维数简约”，即通过某种数字 变换将原始高维属性空间转变为一个低维“子空间”，在这个子空间中样本密度大幅提高，距离计算也变的更为容易线性降维方法MSD：原始空间中样本之间的距离...
读书笔记-《机器学习》第十三章：半监督学习
L.Z.的博客
11-21 1062
目的：利用未标记样本所包含的信息，提高模型泛化能力 主动学习：与外界进行有效次的交互，降低标记成本。使用尽量少的“查询”来获的尽量好的性能 半监督学习：学习器不依赖外界交互、自动地利用未标记样本来提升学习性能 纯半监督学习 直推学习 基本假设：相似的样本拥有相似的输出 聚类假设 流形假设 半监督学习的四大范型（分类） 生成式方法 半监督SVM 图半监督学习 ...
机器学习入门：西瓜书笔记与模型评估算法代码
算法代码方面，第二章模型评估与选择以及第三章线性模型的相关代码应该为学习者提供了将理论应用于实践的机会。通过编程实现模型的评估和线性回归模型的建立，学习者能够更深入地理解算法的内部工作原理和实现细节。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值