周志华西瓜书笔记——第二章

最新推荐文章于 2024-09-09 14:44:05 发布
最新推荐文章于 2024-09-09 14:44:05 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LOVE_CODE_LOVE_LIFE/article/details/73607524
版权
本文介绍了机器学习中的误差类型如过拟合与欠拟合，讨论了如何通过训练误差和泛化误差评估学习器的表现，并介绍了留出法、交叉验证法及自助法等评估方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2.1 经验误差与过拟合

错误率：分类错误的样本占样本总数的比例

精度：1—错误率

误差：学习器的实际预测输出与样本的真实输出之间的差异

训练误差：学习器在训练集上的误差

泛化误差：在新样本上的误差

过拟合：过度学习样本非主要特征导致学习器泛化能力下降

欠拟合：未完全学习样本的特征

过拟合难以避免，欠拟合可以避免：通过增加训练的轮数、扩展决策树分支等方法可以克服欠拟合；机器学习通常面临NP 问题，机器学习的有效解必然是在多项式时间内的，如果彻底避免了过拟合，说明构造性的证明了P=NP，然而事实上这件事并没有被证明，所以只要P!=NP，则过拟合就无法避免。

模型选择：学习算法+参数配置

 

2.2 评估方法——通过测试对学习器的泛化误差进行评估，进而做出选择

  1. 测试集尽量与样本互斥，即测试样本未在训练集合中出现，未被使用过
  2. 如何从数据集中产生训练集和测试集
    1. 留出法： 2/3~4/5 作为训练样本，其余作为测试样本，既保证训练集与数据集之间的差别不过大，又保证训练集没有占有绝大多数的样本；训练测试集的划分，尽量保持数据分布的一致性，多种划分方式若干次随机划分重复实验评估取平均值。
    2. 交叉验证法：将数据集进行划分成k个互斥且并为数据集的子集合，每次使用k-1个子集作为一个训练集，余下一个作为测试集，进行k次实验，同样，在划分数据集时候存在不同方式，每种划分方式下进行k次实验。一般，取10次划分方式，每次划分成10个子集，总共进行了100次实验。。。特别的，留一法，每次将每个样本作为一个子集，这样有可能提高准确性，但是代价比较大
    3. 自助法/有放回采样法：数据集D，从D 中m次随机有放回取样得到集合D`，将D`作为训练集合，D-D`作为测试集。这样会引起估计偏差。在数据集合足够大的时候，采用留出法或交叉验证法
  3. 调参与最终模型：

 

2.3性能度量

  1. 使用均方差/积分形式的均方差来描述模型泛化的能力
  1. 错误率和精度的计算法方法
  2. 查准率、查全率与F1，针对二分类做出详细的描述，，相关概念：混淆矩阵，宏查准率，微查准率，宏查全率，微查全率，宏F1，微F1
  3. ROC 与AUC
  4. 未完待续……
周志华机器学习西瓜书 第八章 集成学习-学习笔记(超详细)
Sodas的博客
03-01 242
举个例子：假如集成学习器有9个个体，求的是集成学习错误率，即预测失败的概率。即在训练过程中每一轮中，根据样本分布为每个训练样本重新赋予一个权重，对无法接收带权样本的基学习算法，则可通过“重采样法”来处理，即在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进行训练。随机森林的训练效率常优于Bagging，因此在个体决策树的构建过程中，Bagging使用的是“确定型”决策树，在选择划分属性时要对结点所有的属性进行考察，而随机森林使用的“随机型”决策树则只需考察一个属性子集。
西瓜书学习笔记——第二章：模型评估与选择
Andrewings
06-20 1688
第2章：模型评估与选择2.1 经验误差与过拟合2.1.1 一些概念2.1.2 过拟合与欠拟合2.2 学习器泛化误差评估方法2.2.1 留出法2.2.2 交叉验证法交叉验证法的特例：留一法2.2.3 自助法（适合小数据集）2.2.4 调参与最终模型训练集，测试集，验证集2.3 性能度量（衡量模型泛化能力的标准）2.3.1 错误率与精度2.3.2 查准率、查全率与F1查准率-查全率曲线（P-R曲线） ...
周志华-西瓜书笔记(第二章)上
zhuguanzhong的博客
04-21 361
误差：学习器的实际预测输出与样本的真实输出之间的差异。而误差又分为训练误差（经验误差）和泛化误差，我们在训练过程中以降低训练误差为目标这样会导致过拟合的发生，显然训练误差不能作为衡量模型的性能的标准，所以我们还需要求得泛化误差来衡量模型的性能。 过拟合和欠拟合：在训练集表现的很好，但是泛化误差却很大的情况叫做过拟合。在训练集上表现的都很差的是欠拟合。目前欠拟合很好处理，但是过拟合才是目前面临的关...
西瓜书第二章笔记
x32sky的专栏
07-25 1119
概念 错误率（error rate）：分类错误的样本数占样本总数的比例 精度（accuracy）：精度 = 1 - 错误率 误差（error）：学习器的实际预测输出与样本的真实输出之间的差异 训练误差（training error）/经验误差（empirical error）：学习器在训练集上的误差 泛化误差（generalization error）：学习器在新样本上的误差 过拟合（...
机器学习入门-西瓜书总结笔记第二章
weixin_45867990的博客
03-25 3069
西瓜书第二章-模型评估与选择前言一、经验误差与拟合二、评估方法1.留出法2.交叉验证法3.自主法4.调参与最终模型三、性能度量1.错误率与精度2.查准率、查全率与F1F1F13.ROC与AUC4.代价敏感错误率与代价曲线四、比较检验1.假设检验2.交叉验证t检验3.McNemar检验4.Friedman检验与Nemenyi后验检验五、偏差与方差总结 前言 `第一章主要是阅读性为主，通过西瓜案例引入机器学习概念，本章开始介绍机器学习模型评估内容 一、经验误差与拟合 **“错误率”（error rate）*
西瓜书第二章（01）
chaojipikaqiu的博客
11-13 408
今天起把西瓜书上重要的，经常用的内容简单记录一下，以防自己遗忘。 今天整理西瓜书2.1-2.4 #概念问题 学习器在训练集上表现出来的误差叫做训练误差，而在测试集上表现出来的叫做“泛化误差” 当学习器把训练样本学的太好了的时候，很可能已经把训练样本上的一些独特的特点当作了所有对象都会有的特性，这种叫做“过拟合”，与之相对的是”欠拟合“，这两种问题在机器学习中对策大不相同。 在现实生活中，我们一...
西瓜书学习笔记第2章（模型评估与选择）
zik的博客
04-09 1636
西瓜书学习笔记第二章（模型评估与选择） 2.1经验误差与过拟合 2.2评估方法 2.2.1留出法（hold-out） 2.2.2交叉验证法（cross validation） 2.2.3自助法（bootstrapping） 2.2.4调参与最终模型 2.3性能度量（performance measure） 2.3.1错误率与精度 2.3.2查准率、查全率与F1 2.3.3ROC 与 AUC 2.3.4代价敏感错误率与代价曲线 2.4比较检验 2.4.1假设检验 2.4.2交叉验证t检验 2.4.3McNem
《机器学习》周志华西瓜书笔记
flashdesigner的博客
09-09 1837
导数（Derivative）是微积分中的一个核心概念，它描述了函数在某一点附近的变化率。具体来说，对于函数y=f(x)，在点x0处的导数定义为：这里，Δx是一个很小的增量，它表示x从x0​变化到x0​+Δx时，函数值f(x)的变化量与Δx之比的极限。如果这个极限存在，那么我们就说函数f(x)在点x0​处是可导的，并且称这个极限值为函数在点x0​处的导数，记作或，有时也简记为y′ 或 ​（当不特别指明x0​时）。导数的几何意义是函数图像在点x0。
周志华《机器学习》西瓜书笔记——更到第5章
wzixuan1的博客
02-14 997
监督学习supervised learning=有导师学习：训练数据拥有标记信息，如分类、回归 无监督学习unsupervised learning=无导师学习：训练数据没有标记信息，如聚类 分类classification：欲预测的是离散值的一类学习任务，例如好瓜or坏瓜 回归regression：欲预测的是连续值 聚类clustering：即将训练集中的西瓜分成若干组 簇cluster：每一个组
《西瓜书》阅读笔记——第二章
Morphine_的博客
06-14 396
周志华——机器学习西瓜书阅读笔记第二章
周志华《机器学习》(西瓜书) —— 学习笔记：第6章 支持向量机
月边云的博客
05-30 868
第6章 支持向量机
西瓜书第二章阅读笔记
zcgai的博客
08-16 621
西瓜书第二章阅读笔记
西瓜书阅读笔记：第二章 模型评估与选择
翰墨春秋
08-30 611
1. 经验误差与过拟合 2. 评估方法 1.留出法(hold-out) 2. 交叉验证法（cross validation）与其特例留一法 3. 自助法（bootstrapping） 调参与最终模型 3. 性能度量 错误率与精度 查准率、查全率与F1 ROC与AUC 代价敏感错误率与代价曲线 4. 比较检验 假设检验 交叉验证t检验 McNemar检验 Friedman检验与Nemen...
机器学习西瓜书—第二章 模型评估与选择（学习笔记 1）
lijingyu1997的博客
09-05 800
2.1 经验误差与过拟合 分类错误的样本数占样本总数的比例称为错误率（error rate）,即如果在m个样本中有a个样本分类错误，则错误率E=a/m; 1 - a/m称为精度（accuracy）,即精度=1-错误率。 学习器的实际预测输出与样本的真实输出之间的差异称为误差（error）。 学习器在训练集上的误差称为训练误差（training error）或经验误差（empirical e...
西瓜书学习笔记（第二章、模型评估与选择）
m0_56644478的博客
08-01 372
如此可知，代价线段必然经过（0，FPR）和（1，FNR）两点，根据ROC曲线上的每个点（FPR，TPR），可计算出FNR（FNR=1-TPR），进而可以通过两点绘制出线段。与留出法相似，划分方式同样多种，这里为了减少因样本划分不同而带来的差别，k折交叉验证通常也要随机使用不同的划分方式重复p次，最终的评估结果是这p次k折交叉验证的结果，比较常见的有“10次10折交叉验证”。如开头所介绍的两种最常用的度量，错误率是指分类错误的样本数占样本总数的比例，精度则是指分类正确的样本数占样本总数的比例。
西瓜书第二章（网上博客整理）
GodNotAMen的博客
01-17 385
2.4比较检验（可以理解其中的二项检验） https://blog.youkuaiyun.com/BLvren_/article/details/88170770 2.5偏差与方差 https://blog.youkuaiyun.com/weixin_40549144/article/details/86764031 3.2-1线性回归中的损失函数（最小二乘法） https://blog.youkuaiyun.com/al...
西瓜书学习笔记 第二章
程序圆圆圆
01-02 305
2.1 经验误差与过拟合 m个样本中有a个样本分类错误 错误率（error rate）： E = a/m 精度（accuracy）= 1 - 错误率 = 1 - E = 1 - a/m 误差（误差期望）：学习器的预测输出与样本的真实输出的差异； 训练误差（training error）或经验误差（empirical error）:学习器在训练集上的误差； 泛化误差（generalization e...
西瓜书-第二章·模型评估与选择
2302_78976920的博客
05-07 899
在上一章我们知道了什么是机器学习。其中我们提到了最重要的是算法学习，当我们用算法得到某种模型的时候，我们可以如何去判断他的一个好坏呢？因此接下来我们继续学习-模型评估与选择。
《机器学习》周志华(西瓜书)学习笔记 第二章 模型评估与选择
sdm12345的博客
05-11 1948
第二章 模型评估与选择
周志华机器学习西瓜书第二章学习笔记
最新发布
01-24
### 关于周志华《机器学习》（西瓜书）第二章的学习笔记 #### 模型评估与选择概述 模型评估与选择是机器学习领域的重要组成部分，旨在通过合理的方法评价不同模型的表现并挑选最优者。这一过程不仅涉及如何衡量单个模型的好坏，还包括怎样对比多个候选方案以做出最佳决策。 #### 偏差、方差和噪声的概念解析 偏差度量了学习算法的期望预测与实际结果之间的差距，反映了算法自身的拟合精度；方差描述的是相同规模训练集变化引起的学习效果波动情况，体现了数据扰动带来的影响；而噪声则设定了给定任务下所有可能采用的学习方法能达到的最佳预期泛化误差界限，揭示了问题本身固有的复杂性和挑战性[^2]。 #### 性能度量指标——P-R图及其应用 为了更直观地展示各类分类器的工作特性，通常会绘制精确率-召回率(Precision-Recall, P-R)曲线来辅助分析。当面对多组实验结果时，可以通过观察这些图形相互间的位置关系来进行优劣评判：如果某条曲线始终位于另一条之上，则表明前者具有更好的整体表现；而对于那些存在交点的情况，则需进一步计算各自下方区域面积大小作为判断依据之一。此外，“平衡点”作为一种特殊的性能测度，在特定条件下也能提供有价值的参考信息[^3]。 #### 偏差-方差分解理论简介 该理论为理解学习算法的一般化能力提供了框架性的指导思路，通过对平均测试错误率实施拆分操作，可以深入剖析导致过拟合现象背后的原因所在，并据此探索改进措施的方向。具体而言，总误差由三部分构成——不可约减误差点（即噪声）、平方形式表达出来的偏差项以及线性累加而成的方差成分[^4]。 ```python import numpy as np from sklearn.model_selection import train_test_split from sklearn.metrics import precision_recall_curve, auc def evaluate_model_performance(model, X, y): """ 计算并返回PR曲线下面积(AUC)，用于量化模型的整体性能。 参数: model (object): 已经训练好的分类模型实例。 X (array-like of shape (n_samples, n_features)): 测试特征矩阵。 y (array-like of shape (n_samples,)): 对应的真实标签向量。 返回: float: PR AUC得分。 """ # 划分训练集/验证集 X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2) # 使用训练集拟合模型 model.fit(X_train, y_train) # 获取验证集中各观测对应的概率估计值 probas_pred = model.predict_proba(X_val)[:, 1] # 绘制PR曲线并求得AUC分数 precisions, recalls, _ = precision_recall_curve(y_val, probas_pred) pr_auc_score = auc(recalls, precisions) return pr_auc_score ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值