C4.5决策树-为什么可以选用信息增益来选特征

最新推荐文章于 2021-07-19 16:55:12 发布
原创 最新推荐文章于 2021-07-19 16:55:12 发布 · 8.4k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#C4-5 #信息增益

本文介绍了C4.5决策树算法中使用信息增益来选择特征的原因。信息熵作为衡量分类不确定性的指标，信息增益大的属性能更有效地减少数据的熵，增强分类确定性。然而，连续值属性可能导致过大的信息增益，造成决策树过于庞大。C4.5通过信息增益率解决了这个问题，避免了对取值较多属性的偏好。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

要理解信息增益，首先要明白熵是什么，开始很不理解熵，其实本质来看熵是一个度量值，这个值的大小能够很好的解释一些问题。
这里写图片描述

这里写图片描述

这里写图片描述

从二分类问题来看，可以看到，信息熵越是小的，说明分类越是偏斜（明确），可以理解为信息熵就是为了消除分类不确定性的，决策树本就是根据一个个问题的答案去尽可能明确的找出规律去告诉别人这条数据的类别，如果说类被均匀的分到两边，相当于你问别人，明天会小雨吗，别人告诉你可能会下可能不会小，这对你的判断并没有屌用。在后面子分支属性的选择中，一个属性的信息增益越大，表明属性对样本的熵减少的能力更强，这个属性使得数据由不确定性变成确定性的能力越强。

但所以如果是取值更多的属性，比如顾客ID这种连续值属性，基本一个ID一条数据，更容易使得数据更“纯”（尤其是连续型数值），其信息增益更大，决策树会首先挑选这个属性作为树的顶点。结果训练出来的形状是一棵庞大且深度很浅的树，这样的划分是极为不合理的。

所以C4.5使用了信息增益率，在信息增益的基础上除了一项split information,来惩罚值更多的属性。

Gainratio=δSplitInfo
最低0.47元/天 解锁文章

200万优质内容无限畅学
4.5为什么使用信息增益比来选择特征？
qq_20806657的博客
10-08 5490
这篇文章来源于本人的知乎回答 作者：陈彪 链接：https://www.zhihu.com/question/22928442/answer/117189907 来源：知乎 著作权归作者所有，转载请联系作者获得授权。 最近正好在学决策树，信息增益和信息增益率确实是初学阶段很纠结的问题。要解决题主的疑惑，必须先分析Info-Gain(信息增益)和Gain-ratio(信息增益率)的
机器学习：决策树的划分依据
qq_45315982的博客
12-05 2862
决策树的划分依据之一 信息增益 特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为： 注：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度 信息熵的计算： 条件熵的计算： 注：C_k表示属于某个类别的样本数 例子： 结论：决策树的分类依据之一： 信息增益 常见其他决策树使用的算法： ID3 信息增益...
机器学习笔记 - 决策树最优划分属性选择
闲敲棋子落灯花
02-15 1万+
由决策树算法可知, 其关键点在于如何选择最优划分属性, 一般而言, 随着划分过程不断进行, 我们希望形成纯度高的分支节点和叶结点. 信息增益信息熵可以用来衡量样本集合纯度. 假定 样本集合DD, 其中第kk类样本所占比例为pk(k=1,2,...,γ)p_k(k=1, 2, ... , \gamma), 则D的熵为 Ent(D)=−∑k=1γpklog2pk Ent(D) = -\sum
C4.5（信息增益比）相比于ID3（信息增益）优点？
Rnan_prince的博客
02-04 5073
言外之意，c4.5为什么使用信息增益比来选择特征？ 不讲那些乱七八糟的公式了，默认大家已经学会了好多公式，只讲思想层面。 首先从熵（Entropy）开始说起，熵最初是一个物理学概念，后来在数学中用来描述“一个系统的混乱程度”，因此一个系统的信息熵越高就越无序，信息熵越低就越有序，信息熵越高，使其有序所要消耗的信息量就越大。 如果一个决策树分支节点包含的样本都是属于同一个类别的（例如西瓜色泽都...
ID3-tree.rar_ID3决策树分类_ID3算法_decision tree_id3_信息增益
07-14
通过学习ID3决策树分类算法，我们可以理解如何用信息熵和信息增益来构建决策树，以及如何处理离散型数据。不过，在实际应用中，我们通常会选用更现代、更强大的决策树算法，如C4.5或随机森林等，它们在处理连续性...
C4.5 决策树算法对UCI wine数据集分类的实现(MATLAB)
林立民爱洗澡
07-11 1万+
 1、功能实现与样本分析在数据挖掘领域，可以利用相应的算法对数据集进行训练，即对样本的特征进行分析，从而归纳出相同类别的样本之间存在的内在特征联系，进一步对未知类别的样本进行预测，判断出该样本所属的类别。本文实现了利用决策树算法对UCI 机器学习库上的经典wine数据集进行分类的目的。为达到相应的分类目的，需要先对数据集样本进行分析。表1 wine数据集样本特征不用化学成分的含量与酒的所属类别息息...
matlab粗集系统评估wine,C4.5 决策树算法对UCI wine数据集分类的实现(MATLAB)
weixin_29386469的博客
03-28 1098
一、功能实现与样本分析在数据挖掘领域，能够利用相应的算法对数据集进行训练，即对样本的特征进行分析，从而概括出相同类别的样本之间存在的内在特征联系，进一步对未知类别的样本进行预测，判断出该样本所属的类别。本文实现了利用决策树算法对UCI 机器学习库上的经典wine数据集进行分类的目的。node为达到相应的分类目的，须要先对数据集样本进行分析。git表1 wine数据集样本特征github 不用化学成...
决策树学习算法——ID3,C4.5,CART详解
weixin_49717022的博客
07-19 5507
一、决策树 决策树的学习过程包括三个步骤： a）特征选择。不同的特征和预测目标具有不同强度的相关性，选择相关性最强的特征能够有效提高预测效果。 b）节点分裂。训练集会在决策树中按照节点规则分流，如果 节点A 没办法给出一个满意的分类结果，那它就会选择分裂，分成 2 个或者多个节点。那么根据什么分裂呢？节点A 会用熵来判断用哪个特征分裂是最优的。 c）剪枝。决策树不加限制地分裂容易产生过拟合现象，剪枝可以一定程度地缓解过拟合，提高泛化能力。 决策树的学习算法有多种，常用的有：ID3，C4.5，CART。下面逐
（转载）我们为什么需要信息增益比，而不是信息增益？
github_39294291的博客
11-15 1272
我们为什么需要信息增益比，而不是信息增益？ 表一 满足什么情况才去玩高尔夫 [1] 1 Day Temperatrue Outlook Humidity Windy PlayGolf? 07-05 hot sunny ...
决策树中信息增益最大找的是样本之间差异最大的特征
学习专栏，期待交流与成长
12-09 3022
决策树的每一层都需要根据最大信息增益来进行分类特征的选取。实际上，信息增益最大找的是样本之间差异最大的特征。
信息增益与决策树
六轱辘的专栏
05-07 5903
简单介绍决策树模型，其中的特征选择会用到信息增益的概念。
决策树算法原理（三种最优属性划分方法）
Sherry沫小阳的博客
04-04 1万+
大家好，今天，我们来介绍一下决策树的原理。 决策树算法在当今机器学习中经常用到，它既可以作为分类算法，也可以作为回归算法，下面我会和大家对这个算法中的一些理论进行一一介绍。 1.决策树ID3算法 决策树算法通俗来讲，就是一种按照重要性（信息增益）层层分类的分类方法，此文章借西瓜书中的例子来为大家讲解 信息增益：“信息熵”是度量样本集合纯度最常用的一种指标，假设当前样本集合D中第k类样本所占...
决策树之信息增益计算模拟
Binbin的技术博客
09-01 3622
决策树算法有一个关键步骤就是最优特征的选择，利用信息增益算法选择该特征，例子来自于《统计学习方法》 利用MATLAB2017A版本，编写MATLAB程序计算之，将上述的数据保存到data5.xlsx中 clear;clc;close all % 计算信息增益，决策树算法的基础 data = readtable('data5.xlsx'); data = string(table2
决策树ID3、C4.5这两种算法的特点？为什么使用C4.5要好？
cjl的博客
09-10 564
ID3、C4.5这两种算法的特点？为什么使用C4.5要好？ [参考文章] [1]. <机器学习> p73–p79 见附件书本 [2]. C4.5算法详解 https://blog.csdn.net/zjsghww/article/details/51638126 [3]. ID3和C4.5的区别 https://blog.csdn.net/Neo_226/article/details/48156679 ...
机器学习_决策树(信息熵，决策树，决策树优化，剪枝)
weixin_43916755的博客
11-03 2555
今天开始学决策树，尽管导师每天催任务，但我还是得把机器学习学完，学懂，现在看西瓜书很有感觉。这个机器学习太好了，感觉学着学着就变聪明了一样，不断地让自己的思维变得更敏捷，所以我爱机器学习。 今天要讲的内容主要有以下几点： 信息熵 决策树 决策树优化 剪枝 决策树可视化 说信息熵之前，先说下什么叫比特化 比特化 假设有 ...
机器学习笔记之信息熵、信息增益和决策树(ID3算法)
睿不可挡的专栏
01-21 2万+
机器学习笔记之信息熵、信息增益和决策树(ID3算法)
我们为什么需要信息增益比，而不是信息增益？
OleNet的专栏
06-10 1万+
我们为什么需要信息增益比，而不是信息增益？ 决策树是机器学习中的经典算法，分别由三个经典算法实现：ID3，C4.5，CART，这三个算法最明显的区别就是对于特征选择的策略不同.对于ID3和C4.5的信息增益和信息增益比有什么区别呢，为什么放着信息增益不用，又要计算一个ratio呢？这就是下面的内容要讨论的。
什么是信息增益(Information Gain)?
热门推荐
Rosalind_Xu的博客
03-15 2万+
参考链接： 什么是信息增益(Information Gain)？ 信息熵到底是什么 首先建立一棵决策树。信息增益是一个统计量，用来描述一个属性区分数据样本的能力。信息增益越大，那么决策树就会越简洁。这里信息增益的程度用信息熵的变化程度来衡量。 假如我们所做的决策是是否出去玩，属性有风力、潮湿度等等。 那么在有统计样本S的情况下，计算某属性信息增益的步骤如下： 计算不用属性区分的情况下，决策属...
决策树信息增益率为负
最新发布
03-28
### 决策树信息增益率计算为负的原因 信息增益率的定义是通过引入分裂信息来调整信息增益，从而减少对具有较多取值属性的偏袒。具体来说，信息增益率为： \[ \text{Gain Ratio}(A) = \frac{\text{Gain}(D, A)}{\text{SplitInfo}(A)} \] 其中，$\text{Gain}(D, A)$ 是信息增益，而 $\text{SplitInfo}(A)$ 表示按照属性 $A$ 划分后的不确定性[^4]。 当某些情况下，$\text{SplitInfo}(A)$ 的值非常大，甚至超过了 $\text{Gain}(D, A)$ 时，就会导致信息增益率变为负数。这种情况通常发生在划分后各子集的数据分布极其不均匀的情况下，即某个子集中几乎包含了所有的样本，其他子集几乎没有样本[^3]。 --- ### 解决方案 为了应对信息增益率可能为负的问题，可以采取以下几种策略： #### 1. **设定阈值** 在实际应用中，可以选择忽略那些信息增益率小于零的属性。这意味着如果某属性的信息增益率低于零，则认为它不适合用于当前节点的划分。 #### 2. **修正公式** 为了避免信息增益率出现负值，可以在计算过程中加入一个小常数作为平滑项。例如，将公式改为： \[ \text{Gain Ratio}(A) = \max(\epsilon, \frac{\text{Gain}(D, A)}{\text{SplitInfo}(A)}) \] 这里 $\epsilon$ 是一个很小的正值，用来防止比率变成负数或接近于零。 #### 3. **综合考虑多个指标** 除了单纯依赖信息增益率外，还可以结合其他评价标准共同决定最佳分割点。比如，在 C4.5 中采用了启发式方法——优先选取高于平均水准的增益率，并从中选出最高者；这种方法既保留了信息增益的优点又缓解了其缺陷。 #### 4. **改用替代指标** 对于连续型特征或者类别过多离散型特征，Gini 指标可能是更好的选择因为它不会受到上述问题的影响。Gini 值反映了随机抽取两个样本属于不同类别的概率，因此更加稳定可靠。 ```python def gini_index(groups, classes): n_instances = float(sum([len(group) for group in groups])) gini = 0.0 for group in groups: size = float(len(group)) if size == 0: continue score = 0.0 for class_val in classes: p = [row[-1] for row in group].count(class_val) / size score += p * p gini += (1.0 - score) * (size / n_instances) return gini ``` --- ### 总结 综上所述，信息增益率可能出现负值的主要原因是由于 Split Information 过高所致。针对这一现象可通过设置合理阈限、改进原始表达式形式或是融合多维度考量等方式加以规避。另外，在特定场景下选用更适合目标特性的评估准则也是可行之计。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值