信息增益-基尼系数

最新推荐文章于 2024-07-20 14:10:54 发布
最新推荐文章于 2024-07-20 14:10:54 发布
阅读量529 收藏
点赞数
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/hapyygril/p/9849342.html
本文通过一个具体的数据集示例，详细解释了如何计算信息增益、信息增益率以及基尼指数，这些指标常用于决策树算法中特征选择的过程。文章首先给出了数据集的状态分布，然后逐步计算了熵、条件熵和基尼指数，最后展示了如何利用这些计算结果来评估特征A的信息增益及其比率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

名称          是否良好     是否男

A                       1               1

B                       1               1

C                       1                0

D                       0                1

E                       0                1

熵：H（D）=  -[2/5log(2/5)+3/5log(3/5)]=0.971

        H(D)=3/5H(D1)+2/5H(D2)=-{3/5(2/3log1/3+1/3log1/3)+2/5(1log(1)}=0.551

信息增益：IG(D,A)=0.971-0.551=0.44

信息增益率：IGr(D,A)=0.44/0.971=0.453

基尼指数 GiNi(D)=1-[(2/5)^2+(3/5)^2]

                 GiNi(D,A)=3/5GiNi(D1)+2/5GiNi(D2)=3/5[1-(2/3)^2+(1/3)^2]+2/5[1-1^2]=0.627

 

 

转载于:https://www.cnblogs.com/hapyygril/p/9849342.html

数据分析 | 信息增益与基尼系数的通俗解释（含实例）
月婵婵的程序媛生涯
03-11 6980
信息增益是基于信息论的概念，用于度量在给定特征的情况下，数据集的不确定性减少程度。在决策树中，选择能够使得信息增益最大的特征作为划分节点。基尼系数是一种衡量数据集纯度（impurity）的指标，它表示从数据集中随机抽取两个样本，其类别标签不一致的概率。在决策树中，选择基尼系数最小的特征作为划分节点。
超详细的信息熵、信息增益、信息增益比、基尼系数
snowdroptulip的博客
11-06 1万+
一、信息 在开始解释信息熵和信息增益之前，我们先来解释一下什么是信息：能消除不确定性的内容才能叫信息，而告诉你一个想都不用想的事实，那不叫信息。 比如数据分析师的工作经常是要用数据中发现信息，有一天上班你告诉老大从数据中发现我们的用户性别有男有女。。。（这不废话吗？）这不叫信息，但是如果你告诉老大女性用户的登录频次、加购率，浏览商品数量远高于男性，且年龄段在25岁~30岁的女性用户消费金额最多...
信息熵 条件熵 信息增益 信息增益比 GINI系数
bitcarmanlee的博客
05-24 2万+
在信息论与概率统计学中，熵（entropy）是一个很重要的概念。在机器学习与特征工程中，熵的概念也用得灰常多。今天就把跟熵有关的东东稍微整理一下，权当笔记。1.信息熵熵是神马东东？信息论的开山祖师爷Shannon（中文翻译过来一般叫香农，总觉得很多文字经过翻译就不对劲，就跟人家老外翻译贱人就是矫情一样，感觉怪怪的。所以咱们还是用英文了，偷偷装个小逼）明确告诉我们，信息的不确定性可以用熵来表示： 对
决策树系列3：信息增益、增益率、基尼系数 (史上最详尽)
热门推荐
浩宇天罡
03-09 2万+
引言 上回说道，决策树最核心的部分是如何选择最优划分属性，今天我们看看经典的三种最优划分算法。 本次内容是决策树的核心，《大数据茶馆》力求做到通俗的前提下推导细致、循序渐进、全程举例，希望可以帮助大家彻底理解这三种方法的来龙去脉。 决策树回顾 上一篇文章的例子中，小明和小亮根据各个属性判断是否适合打球列了表格，并给出了一棵决策树。 如上篇文章所说，第一个节点选择场地进行分支划分一下子决策了...
决策树①——信息熵&信息增益&基尼系数
机器学习初学者必看，关注我，一起了解机器学习
08-22 2592
本文主要是通过大白话，解释何为 信息，信息熵，信息增益，信息增益率，基尼系数 一、信息 能消除不确定性的内容才能叫信息，而告诉你一个想都不用想的事实，那不叫信息。 比如数据分析师的工作经常是要用数据中发现信息，有一天上班你告诉老大从数据中发现我们的用户性别有男有女。。。（这不废话吗？）这不叫信息，但是如果你告诉老大女性用户的登录频次、加购率，浏览商品数量远高于男性，且年龄段在25岁~30岁的女性用...
【深度学习-基尼值与基尼系数增益构建决策树】
zhangqw1013的博客
12-05 4553
在决策树排序过程中，可以根据基尼值和基尼系数增益来确定哪些特征需要先决策、哪些后决策，构建一棵最有的决策树。本文主要介绍了如果使用基尼系数增益来构建决策树，针对相同系数增益的特征可以随意选择一种特征，当特征选择完成之后，需要根据已经重新分类的特征重新计算基尼系数，最终基于所有特征完成决策树的构建。
信息增益与基尼指数：决策树分裂准则的比较
2401_85639015的博客
07-20 1441
信息增益基于熵的概念。熵是衡量数据集纯度的一种指标，熵越低，数据集越纯。熵的计算对于一个具有n个类别的数据集D，熵定义为：其中，(p_i) 是类别i在数据集D中出现的概率。信息增益信息增益是分裂前后熵的减少量。假设我们在特征A上进行分裂，分裂后的子集为(D_1) 和 (D_2)，信息增益定义为：基尼指数是一种衡量数据集不纯度的方法，基尼指数越低，数据集越纯。基尼指数的计算对于一个具有n个类别的数据集D，基尼指数定义为：其中，(p_i) 是类别i在数据集D中出现的概率。
机器学习实战----信息增益、信息增益率和基尼指数
只布布倩
01-04 9158
一 什么是信息熵 对信息的一种度量。 物品可以用重量度量，长度可以用尺子度量。那信息用什么度量呢？《机器学习实战》这本书的信息量是多少呢？用什么度量呢？直到1948年香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵是消除不确定性所需信息量的度量。一件事情的信息熵越高说明它需要的信息越多，来消除它的不确定性。 二  信息增益 1 概念解析 通过名字也能猜测出来，添加了信息之...
基尼系数和信息增益的关系
h2728677716的博客
03-11 730
说白了Gini系数就是x=1出对熵的一阶泰勒展开。 所以不管是信息熵还是Gini系数都可以作为分类的纯度。（本质上没什么区别）
决策树算法中基尼指数与信息增益的比较
qq_39408570的博客
05-02 6565
问题提出 在自己实现决策树算法的时候，发现生成的id3树和cart树一模一样。竟然每个决策节点都选择了同一属性的同一划分。这让我很意外，于是改变了随机种子值，改变训练集的大小，结果发现无一例外它们都是一样的。由此我提出了一个疑问：基尼指数和信息增益是等价的吗？ 如果等价，那干嘛还要两个算法？如果不等价，为什么生成的树总是一样的呢？ 二者比较 直接取iris数据集中的一部分作为训练集，并指定一个属性...
信息增益，信息增益率，Gini
baidu_15113429的博客
06-16 1112
在使用决策树的时候，我们通常通过信息增益，信息增益率，Gini三个指标来选择特征，下面详细介绍这三个指标。http://blog.youkuaiyun.com/xuxurui007/article/details/21788551
机器学习：信息熵，基尼系数，条件熵，条件基尼系数，信息增益，信息增益比，基尼增益，决策树代码实现（一）
weixin_40759186的博客
12-27 2862
初始化，涉及到使用的变量： # ============================================================================= # 计算信息量的相关算法 # ============================================================================= import math i...
AI基础：信息熵、信息增益、信息增益率、基尼指数
maoyuanming0806的博客
09-08 3520
给实习生聊到决策树、GBDT，有几个概念这里再用易懂的方式解释下 文章目录信息熵条件熵信息增益信息增益率基尼指数 信息熵是决策树的基础 信息增益-ID3算法构建决策树 信息增益率-C4.5算法构建决策树 基尼指数-Cart算法构建决策树 信息熵 用另外一个词来说就是纯度，一个盒子里只有白球，说明这个盒子很纯，纯度很高。一个集合里只有一类样本，比如表示男女的样本集合U={男，男，…}都是男的，那么就说这个集合纯度很高。 纯度相对于信息熵呢？首先熵，是热力学的概念，表示体系混乱度.
机器学习算法 22 决策树算法到集成学习思想（02 决策树常用的分裂条件基尼系数Gini、信息增益、信息增益率、MSE ）
weixin_41672684的博客
01-19 2666
1 总结： 决策树的生成说白了就是数据不断分裂的递归过程，每一次分裂，尽可能让类别一样的数据在树的一边，当树的叶子节点的数据都是一类的时候，则停止分裂 2 分割的条件 问题：分割的条件是什么？ 如下图所示，那种分割方式更好：怎样衡量？纯度 2.1 常用分裂条件： 对于分类问题： 常用的分割条件有 Gini系数，信息增益 信息增益率；分割的好坏一般采用 纯度进行度量。 对于回归问题：常用的分割条件是MSE 2.1.1 Gini系数（CART） 基尼系数是指国际上通用的、.....
基尼系数
醉糊涂仙的博客
07-05 2904
信息量，信息熵，纯度，参考博文：https://blog.youkuaiyun.com/u010916338/article/details/91127242 条件熵，信息增益（互信息）参考博文：https://blog.youkuaiyun.com/u010916338/article/details/91432832 信息增益率，参考博文：https://blog.youkuaiyun.com/u010916338/arti...
[决策树]一步步详解信息增益、增益率、基尼指数
weixin_39564592的博客
07-29 1984
结合B站UP主:致敬大神的讲解和自己的理解作此文章以便自己日后的复习 熵：对一种事物的不确定性 信息：消除不确定性的事物 比如：以买榴莲举例，没任何信息的情况下买榴莲，50%挑到好的，50%挑到坏的，但是如果我们闻了一下后发现味道很香，那么这时，这个被我们闻过的榴莲是好榴莲的几率就上升了 噪音：不能消除对某件事情的不确定性 熵如何度量？ ...
信息熵、gini、信息增益
suv1234的博客
05-19 2321
样本集合的不确定性描述：信息熵、gini 信息熵在x=1处一阶泰勒展开就是基尼指数 熵   gini f(x)=lnx=ln[1+(x-1)]=(x-1)-1/2(x-1)^2+1/3(x-1)^3-1/5(x-1)^5 忽略掉高次项，可以得到f(x)≈x-1。这样 -pklogpk≈pk(1-pk)了，就更可以看到基尼指数与熵很近似了。
信息增益和基尼系数的区别
最新发布
05-15
### 信息增益与基尼系数的区别 #### 定义 信息增益基于信息熵的概念，衡量的是通过某个特征进行分割后带来的不确定性减少的程度[^1]。其核心目标是寻找能够最大化降低不确定性的特征来构建决策树节点。相比之下，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值