【机器学习】信息、信息熵、信息增益、增益率及基尼系数的概念总结

最新推荐文章于 2024-07-20 14:10:54 发布
最新推荐文章于 2024-07-20 14:10:54 发布
阅读量4.2k 收藏 10
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 深度学习与机器学习 文章标签： 机器学习 信息增益 信息熵 增益率 基尼系数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ARPOSPF/article/details/84876426
本文总结了机器学习中重要的概念，包括信息、信息熵、信息增益、增益率和基尼系数。信息熵用于度量不确定性，信息增益衡量特征选择性，增益率则是C4.5决策树算法中的改进指标，而基尼系数被CART决策树用于选择划分属性。这些概念在构建决策树模型时起到关键作用。

信息、信息熵、信息增益、增益率及基尼系数的概念总结

信息

信息是用来消除随机不确定性的东西。对于机器学习中的决策树而言，如果待分类的事物集合可以划分为多个类别当中，则第k类的信息可以定义如下：

I(k)=-log_2({p_k})

信息熵

信息熵是用来度量不确定性，当熵越大，k的不确定性越大，反之越小

假定当前样本集合D中第k类样本所占的比例为p_k (k=1,2,...,|y|)，则D的信息熵定义为：

Ent(D)=-\sum_{k=1}^{|y|}{p_klog_2 {p_k}}

信息增益

了解本专栏 订阅专栏 解锁全文 超级会员免费看
决策树（信息熵、信息增益、信息增益率、基尼值和基尼指数、剪枝）
一只黑猩猩
10-07 3836
Machine Learning & Data Mining 决策树（信息熵、信息增益、信息增益率、基尼值和基尼指数、剪枝） 参考自：周志华《机器学习》、”机器学习与数据挖掘“课程 一、概述 决策树(decision tree) 是一类常见的机器学习方法，是基于树结构来进行决策的，也称“判定树”。 一棵决策树包含一个根结点、若干个内部结点和若干个叶结点： 叶结点对应决策结果 其他每个结点则对应于一个属性测试 每个结点包含的样本集合根据属性测试的结果被划分到子结点中，根结点包含样本全集。从根结
数据分析 | 信息增益与基尼系数的通俗解释（含实例）
月婵婵的程序媛生涯
03-11 7209
信息增益是基于信息论的概念，用于度量在给定特征的情况下，数据集的不确定性减少程度。在决策树中，选择能够使得信息增益最大的特征作为划分节点。基尼系数是一种衡量数据集纯度（impurity）的指标，它表示从数据集中随机抽取两个样本，其类别标签不一致的概率。在决策树中，选择基尼系数最小的特征作为划分节点。
熵、信息增益、信息增益率与基尼指数
知道不_zkl的博客
05-20 4445
 本文主要介绍了熵，信息增益，信息增益率和基尼指数的基本概念，并使用数据样例进行了计算。 数据样例 名称 是否用鳃呼吸 有无鱼鳍 是否为鱼 鲨鱼 是 有 是 鲫鱼 是 有 是 河蚌 是 无 否 鲸 否 有 否 海豚 否 有 否 熵  熵是度量样本集合纯度最常用的...
信息增益-基尼系数
weixin_33832340的博客
10-25 545
名称 是否良好 是否男 A 1 1 B 1 1 C 1 0 D 0 1 ...
信息熵、信息增益与信息增益率
lyc0424的博客
03-08 919
信息熵、信息增益与信息增益率 信息熵(Information Entropy) 信息熵是用来评估样本集合的纯度的一个参数，就是说，给出一个样本集合，这个样本集合中的样本可能属于好多不同的类别，也可能只属于一个类别，那么如果属于好多不同的类别的话，我们就说这个样本是不纯的，如果只属于一个类别，那么，我们就说这个样本是纯洁的。 　　而信息熵这个东西就是来计算一个样本集合中的数据是纯洁的还是不纯洁的...
决策树——信息熵，熵增益率，基尼系数的计算说明
qq_32834123的博客
08-12 2357
决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。 1. 信息增益 在 ID3 决策树中使用 ”信息熵“是度量样本集合纯度最常用的指标，假设
机器学习（22）---信息熵、纯度、条件熵、信息增益
m0_62881487的博客
10-12 3063
好的条件就是信息增益越大越好，即变化完后熵越小越好（熵代表混乱程度，最大程度地减小了混乱）。因此我们在树分叉的时候，应优先使用信息增益最大的属性，这样降低了复杂度，也简化了后边的逻辑。信息的混乱程度越大，不确定性越大，信息熵越大；对于纯度，就是信息熵越大，纯度越低。熵可以表示样本集合的不确定性，熵越大，样本的不确定性就越大。2. 纯度的通俗理解：一个盒子里只有白球，说明这个盒子很纯，纯度很高。，是信息量的差值，表示此条件对于信息熵减少的程度。}，都是男的，那么就说这个集合纯度很高。的条件概率分布的熵对。
【机器学习（三）】机器学习中：信息熵，信息增益，信息增益比，原理，案例，代码实现。
qq_39709813的博客
06-11 2万+
目录 引言 原理 信息熵 条件熵 信息增益 信息增益算法流程 信息增益比 案例 信息熵求解 信息增益求解 信息增益比求解 结果分析 案例的代码实现 引言 在机器学习和深度学习中，经常会用到信息熵（entropy）这个概念，可以理解为熵表示的是随机变量不确定度的衡量。例如概率0.5比概率0.3的不确定度要高。 原理 信息熵 设X是一个取值有限的离散随机变量，其概率分布为：，则随机变量X的熵定义为 通常log取2或者3，得到的熵的单位分别称作比特或纳特。从这就可以知道，熵依
9-信息熵与基尼系数
热门推荐
kakazai.cn
06-19 3万+
一、基尼系数是什么？1)定义    下面是摘自李航《统计学习方法》中基尼系数的定义，非常清晰。2)基尼系数有什么意义？    我们可以先来看一组数据X的取值 方案一 方案二 方案三 方案四 P的平方 方案一 方案二 方案三 方案四类别一 0.9 0.5 0.4 0.2 p1^2 0.81 0.25 0.16 0.04类别二 0.1 0.5 0.3 0.2 p2^2 0.01 0.25 0.09 0...
熵和基尼系数
l275940071的博客
04-19 4611
CART    Classification & Regression Tree1.熵（entropy） 熵是表示随机变量不确定性的度量。设XX是一个取有限个值的离散随机变量，其概率分布为对于一个取有限个值的随机变量X，如果其概率分布为： P(X=xi)=pi,i=1,2,⋯,n那么随机变量X的熵可以用以下公式描述：                     H(X)=−∑i=1npilog...
[机器学习]信息&熵&信息增益
weixin_30578677的博客
06-16 1039
关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释，防止自己忘记的同时，望对其他人有个借鉴的作用，如有错误还请指出。 1、信息 这个是熵和信息增益的基础概念，我觉得对于这个概念的理解更应该把他认为...
基尼系数和信息增益的关系
h2728677716的博客
03-11 767
说白了Gini系数就是x=1出对熵的一阶泰勒展开。 所以不管是信息熵还是Gini系数都可以作为分类的纯度。（本质上没什么区别）
信息熵、gini、信息增益
suv1234的博客
05-19 2359
样本集合的不确定性描述：信息熵、gini 信息熵在x=1处一阶泰勒展开就是基尼指数 熵   gini f(x)=lnx=ln[1+(x-1)]=(x-1)-1/2(x-1)^2+1/3(x-1)^3-1/5(x-1)^5 忽略掉高次项，可以得到f(x)≈x-1。这样 -pklogpk≈pk(1-pk)了，就更可以看到基尼指数与熵很近似了。
信息增益，信息增益率，Gini
suibianshen2012的专栏
09-27 3288
信息增益： 首先，计算总系统的熵， 然后，当某特征固定时，会将系统分成几个（此特征的可能值数目）子系统，分别计算每个子系统的熵，方法同上； 而后，将几个子系统的熵加起来，便是“当不包含此特征”时系统的熵； 最后，以上两个“包含”和“不包含”此特征情况下系统的熵的差值便是此特征的信息增益。 Gini 系数： 某个节点的Gini不纯度计算： 比如，某节点A样本分属
机器学习傻瓜书决策树之信息熵和信息增益 增益率理解
qq_44386182的博客
06-26 785
先给出结论：利用信息增益的目的是为了生成最优决策树，方便在测试集预测首先给出书上信息熵的数学定义：举一个通俗例子理解这个公式 接下来理解信息增益书上公式 光看公式很难理解 但是其实并没有新的数学概念知识（理解公式的目的是获取其现实意义和其现实逻辑）先给出结论：信息增益其实就是系统经过特征选择后（比如该例选择色泽为特征），过度为下个子系统，子系统与上一个系统的信息熵差值的一个量度，当然越大，说明系统不确定性坍缩的越厉害，这正是我们想要的。毕竟信息熵坍缩为0，就能确定做出抉择了。类比：速度，速度差，加速度对
信息增益与基尼指数：决策树分裂准则的比较
最新发布
2401_85639015的博客
07-20 1579
信息增益基于熵的概念。熵是衡量数据集纯度的一种指标，熵越低，数据集越纯。熵的计算对于一个具有n个类别的数据集D，熵定义为：其中，(p_i) 是类别i在数据集D中出现的概率。信息增益信息增益是分裂前后熵的减少量。假设我们在特征A上进行分裂，分裂后的子集为(D_1) 和 (D_2)，信息增益定义为：基尼指数是一种衡量数据集不纯度的方法，基尼指数越低，数据集越纯。基尼指数的计算对于一个具有n个类别的数据集D，基尼指数定义为：其中，(p_i) 是类别i在数据集D中出现的概率。
机器学习实战----信息增益、信息增益率和基尼指数
只布布倩
01-04 9230
一 什么是信息熵 对信息的一种度量。 物品可以用重量度量，长度可以用尺子度量。那信息用什么度量呢？《机器学习实战》这本书的信息量是多少呢？用什么度量呢？直到1948年香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵是消除不确定性所需信息量的度量。一件事情的信息熵越高说明它需要的信息越多，来消除它的不确定性。 二  信息增益 1 概念解析 通过名字也能猜测出来，添加了信息之...
机器学习（西瓜书）—ID3和ID4.5公式比较，信息增益和信息率的比较
hdhxjjf的博客
09-20 550
信息熵
超详细的信息熵、信息增益、信息增益比、基尼系数
snowdroptulip的博客
11-06 1万+
一、信息 在开始解释信息熵和信息增益之前，我们先来解释一下什么是信息：能消除不确定性的内容才能叫信息，而告诉你一个想都不用想的事实，那不叫信息。 比如数据分析师的工作经常是要用数据中发现信息，有一天上班你告诉老大从数据中发现我们的用户性别有男有女。。。（这不废话吗？）这不叫信息，但是如果你告诉老大女性用户的登录频次、加购率，浏览商品数量远高于男性，且年龄段在25岁~30岁的女性用户消费金额最多...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

镰刀韭菜

看在我不断努力的份上，支持我吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值