【机器学习】信息、信息熵、信息增益、增益率及基尼系数的概念总结

最新推荐文章于 2024-07-20 14:10:54 发布
最新推荐文章于 2024-07-20 14:10:54 发布
阅读量4.1k 收藏 10
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 深度学习与机器学习 文章标签： 机器学习 信息增益 信息熵 增益率 基尼系数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ARPOSPF/article/details/84876426
本文总结了机器学习中重要的概念，包括信息、信息熵、信息增益、增益率和基尼系数。信息熵用于度量不确定性，信息增益衡量特征选择性，增益率则是C4.5决策树算法中的改进指标，而基尼系数被CART决策树用于选择划分属性。这些概念在构建决策树模型时起到关键作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

信息、信息熵、信息增益、增益率及基尼系数的概念总结

信息

信息是用来消除随机不确定性的东西。对于机器学习中的决策树而言，如果待分类的事物集合可以划分为多个类别当中，则第k类的信息可以定义如下：

I(k)=-log_2({p_k})

信息熵

信息熵是用来度量不确定性，当熵越大，k的不确定性越大，反之越小

假定当前样本集合D中第k类样本所占的比例为p_k (k=1,2,...,|y|)，则D的信息熵定义为：

Ent(D)=-\sum_{k=1}^{|y|}{p_klog_2 {p_k}}

信息增益

了解本专栏 订阅专栏 解锁全文 超级会员免费看
机器学习笔记 - 信息增益和香农熵
学以致用 知行合一
09-20 635
如何合理的划分数据集？划分数据集的大原则是：将无序的数据变得更加有序。组织杂乱无章数据的一种方法就是使用信息论度量信息，在划分数据集之前之后信息发生的变化称为信息增益，知道如何计算信息增益，我们就可以 计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。 在可以评测哪种数据划分方式是最好的数据划分之前，我们必须学习如何计算信息增益。集合信息的度量方式称为香农熵或者简称为熵，这个名字来源于信息论之父克劳德·香农。 熵定义为信息的期望值，在明晰这个概念之前，我们必须知道
[机器学习]信息&熵&信息增益
weixin_30578677的博客
06-16 1007
关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释，防止自己忘记的同时，望对其他人有个借鉴的作用，如有错误还请指出。 1、信息 这个是熵和信息增益的基础概念，我觉得对于这个概念的理解更应该把他认为...
决策树（信息熵、信息增益、信息增益率、基尼值和基尼指数、剪枝）
一只黑猩猩
10-07 3777
Machine Learning & Data Mining 决策树（信息熵、信息增益、信息增益率、基尼值和基尼指数、剪枝） 参考自：周志华《机器学习》、”机器学习与数据挖掘“课程 一、概述 决策树(decision tree) 是一类常见的机器学习方法，是基于树结构来进行决策的，也称“判定树”。 一棵决策树包含一个根结点、若干个内部结点和若干个叶结点： 叶结点对应决策结果 其他每个结点则对应于一个属性测试 每个结点包含的样本集合根据属性测试的结果被划分到子结点中，根结点包含样本全集。从根结
熵、信息增益、信息增益率与基尼指数
知道不_zkl的博客
05-20 4400
 本文主要介绍了熵，信息增益，信息增益率和基尼指数的基本概念，并使用数据样例进行了计算。 数据样例 名称 是否用鳃呼吸 有无鱼鳍 是否为鱼 鲨鱼 是 有 是 鲫鱼 是 有 是 河蚌 是 无 否 鲸 否 有 否 海豚 否 有 否 熵  熵是度量样本集合纯度最常用的...
信息增益-基尼系数
weixin_33832340的博客
10-25 523
名称 是否良好 是否男 A 1 1 B 1 1 C 1 0 D 0 1 ...
信息熵、信息增益与信息增益率
lyc0424的博客
03-08 890
信息熵、信息增益与信息增益率 信息熵(Information Entropy) 信息熵是用来评估样本集合的纯度的一个参数，就是说，给出一个样本集合，这个样本集合中的样本可能属于好多不同的类别，也可能只属于一个类别，那么如果属于好多不同的类别的话，我们就说这个样本是不纯的，如果只属于一个类别，那么，我们就说这个样本是纯洁的。 　　而信息熵这个东西就是来计算一个样本集合中的数据是纯洁的还是不纯洁的...
数据分析 | 信息增益与基尼系数的通俗解释（含实例）
月婵婵的程序媛生涯
03-11 6946
信息增益是基于信息论的概念，用于度量在给定特征的情况下，数据集的不确定性减少程度。在决策树中，选择能够使得信息增益最大的特征作为划分节点。基尼系数是一种衡量数据集纯度（impurity）的指标，它表示从数据集中随机抽取两个样本，其类别标签不一致的概率。在决策树中，选择基尼系数最小的特征作为划分节点。
【机器学习】揭秘机器学习的“三剑客”：信息熵、条件熵与信息增益
制定明确可量化的目标，坚持默默的做事。
04-30 2万+
机器学习中的“三剑客”——信息熵、条件熵与信息增益，是理解数据特征与决策过程的关键工具。信息熵衡量数据的不确定性，条件熵则描述了在给定条件下数据的不确定性变化。而信息增益则通过比较两者，揭示某一特征对减少不确定性的贡献，帮助机器学习算法如决策树进行特征选择，优化分类与回归效果。这三者共同构成了机器学习领域数据分析和决策优化的重要基石。
决策树①——信息熵&信息增益&基尼系数
cindy407的博客
06-20 1万+
本文主要内容： ① 大白话解释何为 信息，信息熵，信息增益，信息增益率，基尼系数 ② 介绍决策树3种算法（ID3，C4.5，CART）的原理及区别 一、基础概念 ① 信息 能消除不确定性的内容才能叫信息，而告诉你一个想都不用想的事实，那不叫信息。 比如数据分析师的工作经常是要用数据中发现信息，有一天上班你告诉老大从数据中发现我们的用户性别有男有女。。。（这不废话吗？）这不叫信息，但是如果你告诉老大...
9-信息熵与基尼系数
热门推荐
kakazai.cn
06-19 2万+
一、基尼系数是什么？1)定义    下面是摘自李航《统计学习方法》中基尼系数的定义，非常清晰。2)基尼系数有什么意义？    我们可以先来看一组数据X的取值 方案一 方案二 方案三 方案四 P的平方 方案一 方案二 方案三 方案四类别一 0.9 0.5 0.4 0.2 p1^2 0.81 0.25 0.16 0.04类别二 0.1 0.5 0.3 0.2 p2^2 0.01 0.25 0.09 0...
熵和基尼系数
l275940071的博客
04-19 4555
CART    Classification & Regression Tree1.熵（entropy） 熵是表示随机变量不确定性的度量。设XX是一个取有限个值的离散随机变量，其概率分布为对于一个取有限个值的随机变量X，如果其概率分布为： P(X=xi)=pi,i=1,2,⋯,n那么随机变量X的熵可以用以下公式描述：                     H(X)=−∑i=1npilog...
基尼系数和信息增益的关系
h2728677716的博客
03-11 720
说白了Gini系数就是x=1出对熵的一阶泰勒展开。 所以不管是信息熵还是Gini系数都可以作为分类的纯度。（本质上没什么区别）
信息熵、gini、信息增益
suv1234的博客
05-19 2316
样本集合的不确定性描述：信息熵、gini 信息熵在x=1处一阶泰勒展开就是基尼指数 熵   gini f(x)=lnx=ln[1+(x-1)]=(x-1)-1/2(x-1)^2+1/3(x-1)^3-1/5(x-1)^5 忽略掉高次项，可以得到f(x)≈x-1。这样 -pklogpk≈pk(1-pk)了，就更可以看到基尼指数与熵很近似了。
信息增益，信息增益率，Gini
suibianshen2012的专栏
09-27 3225
信息增益： 首先，计算总系统的熵， 然后，当某特征固定时，会将系统分成几个（此特征的可能值数目）子系统，分别计算每个子系统的熵，方法同上； 而后，将几个子系统的熵加起来，便是“当不包含此特征”时系统的熵； 最后，以上两个“包含”和“不包含”此特征情况下系统的熵的差值便是此特征的信息增益。 Gini 系数： 某个节点的Gini不纯度计算： 比如，某节点A样本分属
机器学习傻瓜书决策树之信息熵和信息增益 增益率理解
qq_44386182的博客
06-26 749
先给出结论：利用信息增益的目的是为了生成最优决策树，方便在测试集预测首先给出书上信息熵的数学定义：举一个通俗例子理解这个公式 接下来理解信息增益书上公式 光看公式很难理解 但是其实并没有新的数学概念知识（理解公式的目的是获取其现实意义和其现实逻辑）先给出结论：信息增益其实就是系统经过特征选择后（比如该例选择色泽为特征），过度为下个子系统，子系统与上一个系统的信息熵差值的一个量度，当然越大，说明系统不确定性坍缩的越厉害，这正是我们想要的。毕竟信息熵坍缩为0，就能确定做出抉择了。类比：速度，速度差，加速度对
信息增益与基尼指数：决策树分裂准则的比较
最新发布
2401_85639015的博客
07-20 1424
信息增益基于熵的概念。熵是衡量数据集纯度的一种指标，熵越低，数据集越纯。熵的计算对于一个具有n个类别的数据集D，熵定义为：其中，(p_i) 是类别i在数据集D中出现的概率。信息增益信息增益是分裂前后熵的减少量。假设我们在特征A上进行分裂，分裂后的子集为(D_1) 和 (D_2)，信息增益定义为：基尼指数是一种衡量数据集不纯度的方法，基尼指数越低，数据集越纯。基尼指数的计算对于一个具有n个类别的数据集D，基尼指数定义为：其中，(p_i) 是类别i在数据集D中出现的概率。
机器学习实战----信息增益、信息增益率和基尼指数
只布布倩
01-04 9153
一 什么是信息熵 对信息的一种度量。 物品可以用重量度量，长度可以用尺子度量。那信息用什么度量呢？《机器学习实战》这本书的信息量是多少呢？用什么度量呢？直到1948年香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵是消除不确定性所需信息量的度量。一件事情的信息熵越高说明它需要的信息越多，来消除它的不确定性。 二  信息增益 1 概念解析 通过名字也能猜测出来，添加了信息之...
机器学习（西瓜书）—ID3和ID4.5公式比较，信息增益和信息率的比较
hdhxjjf的博客
09-20 524
信息熵
超详细的信息熵、信息增益、信息增益比、基尼系数
snowdroptulip的博客
11-06 1万+
一、信息 在开始解释信息熵和信息增益之前，我们先来解释一下什么是信息：能消除不确定性的内容才能叫信息，而告诉你一个想都不用想的事实，那不叫信息。 比如数据分析师的工作经常是要用数据中发现信息，有一天上班你告诉老大从数据中发现我们的用户性别有男有女。。。（这不废话吗？）这不叫信息，但是如果你告诉老大女性用户的登录频次、加购率，浏览商品数量远高于男性，且年龄段在25岁~30岁的女性用户消费金额最多...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

镰刀韭菜

看在我不断努力的份上，支持我吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值