周志华西瓜书-第四天阅读-类别不平衡问题

最新推荐文章于 2025-03-04 21:11:10 发布
最新推荐文章于 2025-03-04 21:11:10 发布
阅读量470 收藏
点赞数
分类专栏： 2019年8月 python 西瓜书
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41629976/article/details/100172724
版权

类别不平衡

(class-imbalance)就是指分类任务中不同类别的训练样例数目差别很大的情况。不失一般性，本节假定正类样例较少，反类样例较多.在现实的分类学习任务中，我们经常会遇到类别不平衡，例如在通过拆分法解决多分类问题时，即使原始问题中不同类别的训练样例数目相当， 在使用OvR 、MvM策略后产生的二分类任务仍可能出现类别不平衡现象，因此有必要了解类别不平衡性处理的基本方法.

解决思路

第一类是直接对训练集里的反类样例进行"欠采样" (undersampling) ，即去除一些反例使得正、反例数日接近,然后再进行学习;
第二类是对训练集里的正类样例进行"过采样" (oversampling) ，即增加一些正例使得正、反例数目接近，然后再进行学习;
第三类则是直接基于原始训练集进行学习，但在用训练好的分类器进行预测时，将"再缩放"过程嵌入到其决策过程中，称为"阈值移动" (threshold-moving).

周志华机器学习西瓜书 第八章 集成学习-学习笔记(超详细)
Sodas的博客
03-01 213
举个例子：假如集成学习器有9个个体，求的是集成学习错误率，即预测失败的概率。即在训练过程中每一轮中，根据样本分布为每个训练样本重新赋予一个权重，对无法接收带权样本的基学习算法，则可通过“重采样法”来处理，即在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进行训练。随机森林的训练效率常优于Bagging，因此在个体决策树的构建过程中，Bagging使用的是“确定型”决策树，在选择划分属性时要对结点所有的属性进行考察，而随机森林使用的“随机型”决策树则只需考察一个属性子集。
机器学习西瓜书（周志华）第四章 决策树
小蜗牛的博客
05-22 1万+
第四章 决策树1. 概述2. 特征选择2.1 信息增益2.2 信息增益率2.3 基尼指数3. 决策树生成4. 决策树剪枝4.1 预剪枝2. 对数几率回归（logistic regression）2.1 对数几率函数（logistic function）2.2 用极大似然求解2.3 LR的多分类问题3. 线性判别分析4. 多分类学习4.1 利用二分类学习器解决多分类问题4.2 最经典的拆分策略（Ov...
西瓜书第3章之类别不平衡问题
suasan的博客
08-24 869
西瓜书第3章公式推导四 3.5类别不平衡问题 类别不平衡是指分类任务中不同类别数目差距大。 例如负样本与正样本比为10：1。 3.5.1解决类别不平衡-欠采样(下采样) 减少负样本的训练集，使正样本与负样本接近。 代表算法：EasyEnsemble 原理：将负样本随机取出与正样本数目接近集合，组成训练集用于训练。重复以上多次产生多个基分类器。将各个基分类器集成输出最终决策。 ...
机器学习笔记1绪论----教材周志华西瓜书
lanyifenghua的博客
09-28 702
1.学习机器学习这门课，首先问下自己，什么是机器学习。 2.机器学习的一些术语 1.数据集（二维表） 2.对象、事例、事件、样本、记录-------二维表的一行 3.属性-----二维表的一列 4.属性值--------二维表中一个单元格的值 5.属性空间------属性张成的空间，也称为样本空间或者输入空间 6.维数------属性的个数（一行除去标签列的列数） 7.标记或者决策
【机器学习基础】第十课：类别不平衡数据
最新发布
qq_34222839的博客
03-04 582
【机器学习基础】系列博客为参考周志华老师的《机器学习》一书，自己所做的读书笔记。
周志华机器学习（西瓜书）学习笔记（持续更新）
热门推荐
yhdsss875的博客
11-04 1万+
《周志华机器学习》笔记第1章 绪论1.1 引言1.2 基本术语1.3 假设空间1.4 归纳偏好1.5 发展历程1.6 应用现状第2章 模型评估与选择 第1章 绪论 1.1 引言 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。其所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。 本书中，“模型”泛指从数据中学得的结果，有的文献中用“模型”指全局性结果，二用“模式”指局部性结果。 1.2 基本术语 要进行机器
《西瓜书》笔记03：多分类学习和类别不平衡问题（3）
鸟恋旧林的博客
08-17 2378
1. 多分类学习对于多分类任务，有些二分类方法可直接推广到多分类（如LDA推广）。但更多情况下，基于一些基本策略，利用二分类学习器来解决多分类问题。假设N个类别。基本思路：拆解法。将多分类任务拆分为若干个二分类任务。为每个二分类任务训练一个分类器；测试时，对这些分类器的结果进行集成获得最终结果。关键问题：如何拆分？如何集成？经典策略： 一对一（one vs one，OvO） 一对多（one vs r
周志华的西瓜书就是用来“啃”的
奔走的王木木Sir的博客
11-04 1万+
前言：\textcolor{green}{前言：}前言： ❤️目前正在学习周志华的机器学习，我是根据B站的视频来学习，讲的比较扣书本上的知识点。但是建议还是需要看书，书本上的内容是比较全的，但是也比较难，配合着来学习是个比较不错的选择。 ❤️本章的学习是非常枯燥的，但也是基础，它的目的我在文章中也有提到，是使学得的模型能很好得使用于“新样本”。有人在这里就打了退堂鼓，建议先看后面来学，但是我的话希望能先把这里啃\textcolor{red}{啃}啃下来，后面的内容就是用到什么学什么。 ????这本书上的知识
机器学习（周志华）--西瓜书简要笔记（2）
qq_39132170的博客
08-12 527
第二章 模型评估与选择 一、经验误差与过拟合 1.错误率--分类错误的样本数占样本总数的比例。 精度--精度=1-错误率 误差--学习器的实际预测输出与样本的真实输出之间的差异 训练误差--学习器在训练集上的误差，也称为“经验误差” 泛化误差--在新样本上的误差 2.过拟合--当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化能力下降。这种现象在机器学习中称为“过拟合”。最常见的导致过拟合产生的原因是由于学习能力过.
【机器学习】模型评估与选择-西瓜书第二章知识点整理
tellyW的博客
04-30 1061
前一段时间在看书的过程中并没有做笔记，知识点忘得很快。故此，在学习周华志老师的《机器学习》一书时，计划每两天学习一个章节并结合吴恩达机器学习的内容做笔记分享到博客上。本文内容非本人原创，只是为了满足自己的学习需要进行的系统整理。
机器学习西瓜书（周志华）第三章 线性模型 （LR 对数几率函数\LDA\类别不平衡）
小蜗牛的博客
05-16 1931
第三章 线性模型1. 线性回归1.1 基本形式：1.2 对数线性回归2. 对数几率回归（logistic regression）2.1 对数几率函数（logistic function）3. 线性判别分析5. 课后练习参考答案 1. 线性回归 1.1 基本形式： 许多功能更为强大的非线性模型可通过在线性模型的基础上通过引入层级结构或者高维映射得到。 若将无序属性连续化，则会不恰当的引入序关系，对...
《机器学习西瓜书》学习笔记——第三章_线性模型_类别不平衡问题
欢迎光临啊噗不是阿婆主的酒馆
09-08 534
类别不平衡是指分类任务中不同类别的训练样例数目相差很大 现有技术大体上有三类做法解决此问题： 1. 欠采样 2. 过采样 3. 阈值移动/再缩放 1. 欠采样 直接对训练集里的反类样例进行欠采样，即去除一些反例使得正反例数目接近，然后再进行学习。欠采样若随机丢弃反例，可能会丢失重要信息。代表性算法：EasyEmsemble，利用集成学习机制，将反例划分为若干个集合，供不同学...
西瓜书第3章之类别不平衡问题，传统机器学习中
m0_37192554的博客
04-16 249
原 西瓜书第3章之类别不平衡问题 2018年08月24日 14:16:59 su_poplar 阅读数：106 </div> <div class="operating"> ...
【机器学习】周志华《机器学习》西瓜书勘误：按章节排序整理（截至2024年1月第45次印刷）
天地玄黄 魑魅魍魉 风花雪月 商角徵羽
07-27 1842
本文整理了机器学习领域经典之作：南京大学周志华教授的《机器学习》（西瓜书）勘误。包含博主按章节排序整理（截至2024年1月第45次印刷）及原印刷排序两部分。
【周志华机器学习】 西瓜书吃瓜教程 学习笔记总结Task01
m0_57491311的博客
08-16 881
周志华机器学习西瓜书南瓜书吃瓜教程笔记总结，带有英文名词翻译便于记忆其概念专有名词。
《机器学习》(周志华)西瓜书读书笔记
qq_42856609的博客
01-22 4273
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言第1章 绪论第2章 模型评估与选择第3章 线性模型第4章 决策树第5章 神经网络第6章 神经网络第7章 贝叶斯分类 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 第1章 绪论 对于一个学习算法a,若它在某问题上比学习算法b好,则必然存在另一些问题,在那里
机器学习西瓜书——多分类问题&类别不平衡问题
m0_73556978的博客
09-26 1201
前面介绍了很多分类器，如对数几率回归，线性判别分析，这些都是二分类的分类器，他们本身并不能进行多分类任务的分类，然而多分类任务经过拆分是可以拆分成若干个二分类任务的。基于这种“拆解法”我们可以训练处若干个二分类器，然后对二分类的结果进行集成，得出多分类任务的预测结果。常见的拆解策略有：“一对一“（One vs. One简称OVO），“一对多”（One vs. Rset简称OVR），“多对多”（Many vs. Many简称MVM） 下面是详细讲解。
周志华机器学习西瓜书经典来袭！PPT+课件+南瓜书
2301_81888214的博客
07-03 832
南京大学教授，博士生导师，教育部“长江学者”特聘教授，国家杰出青年基金获得者！周志华老师的头衔太多了！相信每一个从事或爱好机器学习的朋友都知道周志华老师，尤其是他的那本经典巨作《机器学习》，又称为西瓜书。
《机器学习》(周志华)西瓜书读书笔记(完结)
weixin_30374009的博客
03-04 2632
大部分基础概念知识已经在Machine Learning|Andrew Ng|Coursera 吴恩达机器学习笔记这篇博客中罗列,因此本文仅对感觉重要或不曾了解的知识点做摘记 第1章绪论 对于一个学习算法a,若它在某问题上比学习算法b好,则必然存在另一些问题,在那里b比a好.即"没有免费的午餐"定理(No Free LunchTheorem,NFL).因此要谈论算法的相对优劣,必须要...
机器学习周志华西瓜书习题答案
01-27
### 关于《机器学习》周志华西瓜书课后习题解析 #### 不同章节的习题特点与解决方法 对于不同章节中的具体题目，解决方案各有侧重。例如，在第九章中提到的内容涉及较为复杂的模型评估和技术应用[^1]。 #### 构建不剪枝决策树的具体案例分析 当处理特定的数据集如西瓜数据3.0α时，构建不剪枝决策树的过程不同于简单的决策桩。这里需要考虑更多的节点分裂标准以及如何全面地利用特征属性进行划分，而不是仅仅依赖单一条件做出判断[^2]。 #### 计算假设空间大小的方法探讨 针对西瓜分类问题中的假设空间计算，如果采用最多包含k个合取式的析合范式，则可以通过组合数学的方式估计可能存在的假设数量。这涉及到对给定条件下所有潜在模式的理解和量化[^3]。 #### 版本空间的概念及其求解过程说明 版本空间是指既能够解释已有观察又尽可能泛化到未见实例的一组假设集合。通过移除那些无法匹配已知正例或反而能解释负例的候选方案，可以逐步缩小这一范围直至找到最优解[^4]。 ```python def calculate_hypothesis_space_size(attributes, values_per_attribute): """ Calculate the size of hypothesis space given attributes and their possible value counts. :param attributes: List of attribute names :param values_per_attribute: Dictionary mapping each attribute to its number of distinct values :return: Total number of hypotheses in the space """ total_combinations = 1 for attr in attributes: if attr in values_per_attribute: total_combinations *= (values_per_attribute[attr] + 1) # Include wildcard '*' return total_combinations - 1 # Exclude completely wild card case '* * ...' # Example usage based on provided information from reference [3] attributes = ["色泽", "根蒂", "敲声"] value_counts = {"色泽": 2, "根蒂": 2, "敲声": 2} print(f"The estimated number of possible hypotheses is {calculate_hypothesis_space_size(attributes, value_counts)}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值