信息增益率

最新推荐文章于 2024-12-21 15:09:39 发布
原创 最新推荐文章于 2024-12-21 15:09:39 发布 · 811 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了信息熵的概念及其计算方法，并进一步解释了条件熵、信息增益和信息增益率等概念。通过这些概念我们可以量化信息的不确定性，并评估不同属性对于分类任务的价值。
部署运行你感兴趣的模型镜像
单个随机变量的熵为该随机变量的不确定度。
对于属性A，它的熵由以下公式计算：
(4)
其中，P(a)是属性A的概率分布。对于分类信息的信息熵H(class)同样由公式(4)计算得出。

在属性A在class条件下的熵，条件熵H(class|A)由以下公式计算：(5)
其中，P(l,a)为class与A的联合概率分布，P(l|a) 为class与A的条件概率分布。
信息增益是由另一随机变量导致的原随机变量不确定度的缩减量。信息增益率是不确定度的缩减量占自身信息熵的比例。属性A相对于class的信息增益率GainRatio(class,A)由以下公式计算：

 (6)

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

【python 机器学习】信息增益率
m0_62599305的博客
04-19 779
在机器学习中的决策树算法（例如C4.5），信息增益率是用来选择最佳特征的另一个重要指标。信息增益率改进了信息增益的不足，尤其是在处理具有许多取值的特征时。通过使用信息增益率，决策树能够做出更加准确的决策。今天，我们将简单介绍信息增益率的概念、计算方法以及它与信息增益的区别。
什么是信息增益率
最新发布
2301_82143894的博客
03-14 890
信息增益率是信息增益（Information Gain）的改进版，用来解决信息增益的一个缺陷。简单来说，信息增益率是“信息增益除以分裂的固有信息”，用来更公平地选择分裂特征。信息增益有个问题：它倾向于选择取值多的特征（比如把数据分成很多小块的特征），因为这种分裂通常能让子集更“纯”，熵更低，增益更高。结论：虽然“样本编号”的增益更高（1 > 0.278），但增益率低（0.301 ≈ 0.278），因为它分裂太细。核心思想：信息增益率在信息增益的基础上加了个“惩罚项”，防止偏向那些把数据分成很多小份的特征。
决策树的划分依据之：信息增益率
CZ-001的博客
08-01 2204
在上面的介绍中，我们有意忽略了"编号"这一列.若把"编号"也作为一个候选划分属性，则根据信息增益公式可计算出它的信息增益为 0.9182，远大于其他候选划分属性。计算每个属性的信息熵过程中,我们发现,该属性的值为0, 也就是其信息增益为0.9182. 但是很明显这么分类,最后出现的结果不具有泛化效果.无法对新样本进行有效预测.
机器学习实战----信息增益、信息增益率和基尼指数
只布布倩
01-04 9221
一 什么是信息熵 对信息的一种度量。 物品可以用重量度量，长度可以用尺子度量。那信息用什么度量呢？《机器学习实战》这本书的信息量是多少呢？用什么度量呢？直到1948年香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵是消除不确定性所需信息量的度量。一件事情的信息熵越高说明它需要的信息越多，来消除它的不确定性。 二  信息增益 1 概念解析 通过名字也能猜测出来，添加了信息之...
分别使用基于信息增益、信息增益率（C4.5）、基于基尼指数实现决策树-采用西瓜数据集
04-03
有三个文件夹， ...一个是信息增益率（C4.5）实现的决策树 一个是基尼指数实现的决策树 数据集采用了机器学习周志华书上的西瓜数据集（这里是西瓜数据集3.0） 工具采用了matlab 分别实现了决策树的图形可视化
AI基础：信息熵、信息增益、信息增益率、基尼指数
maoyuanming0806的博客
09-08 3634
给实习生聊到决策树、GBDT，有几个概念这里再用易懂的方式解释下 文章目录信息熵条件熵信息增益信息增益率基尼指数 信息熵是决策树的基础 信息增益-ID3算法构建决策树 信息增益率-C4.5算法构建决策树 基尼指数-Cart算法构建决策树 信息熵 用另外一个词来说就是纯度，一个盒子里只有白球，说明这个盒子很纯，纯度很高。一个集合里只有一类样本，比如表示男女的样本集合U={男，男，…}都是男的，那么就说这个集合纯度很高。 纯度相对于信息熵呢？首先熵，是热力学的概念，表示体系混乱度.
（1）信息熵，条件熵，信息增益，信息增益率
xdg15294969271的博客
08-17 3525
介绍信息熵和信息增益之前，先介绍信息增量的概念 文章目录1、信息量2、熵3、条件熵4、信息增益5、参考文献： 1、信息量 定义：信息多少的量度，与事件发生的概率相关。 信息量用III表示， 记事件A发生的概率为p，则事件A的信息量计算公式： IA=−log⁡2(p) I_A = -\log_2(p) IA​=−log2​(p) 例子 :比如说，我们掷骰子，点数为一事件的概率为16\frac{1}{6}61​, 那么该事件的信息量为： IB=−log⁡2(16)=log⁡26≈2.6 I_B = -\lo
信息增益与信息增益率详解
u013164528的专栏
03-17 2万+
熟悉决策树算法的人都知道ID3以及C4.5两种算法，当然也非常清楚信息增益以及信息增益率两个概念。 信息增益：节点M的信息熵E1与其全部子节点信息熵之和E2的差。 信息增益率：节点信息增益与节点分裂信息度量的比值。   信息增益是ID3算法的基础，信息增益率是C4.5算法的基础。同时，C4.5是ID3算法的改进版，改进了某些情况下，决策树构建过程中过拟合的问题。   首先说一下信息增益
信息增益，信息增益率，Gini
Athenaer的专栏
12-24 2万+
1、熵（Entropy） 理论上来说用于决策树的属性选择函数，为方便计算，往往是定义为其属性的不纯性度量，那么必须满足如下三个条件： 当结点很纯时，其度量值应为0 当不纯性最大时（比如所有类都有同样的可能），其度量值应最大 度量应该服从多级特性，这样决策树才能分阶段建立起来 measure([2,3,4])=measure([2,7])+79×measure([3,4])
信息增益比
zrh_优快云的博客
06-03 3592
特征A对训练数据集D的信息增益比定义为其信息增益与训练数据集D关于特征A的值的熵 之比，即：，n为特征A取值的个数。信息增益g(D,A)求法如下：
决策树：信息增益率
Wei_sx的博客
12-21 809
信息增益率是信息增益与特征固有信息（Intrinsic Value）的比值。它的计算公式为：其中：: 特征对信息的不确定性减少量（信息增益）。: 特征的固有信息。通过上述计算，我们得到了特征“天气”的信息增益率为 0.0394。信息增益率可以帮助选择那些能够有效减少分类不确定性的特征，同时避免因特征取值过多而造成的偏向。
熵、信息增益、信息增益率
qq_39197555的博客
03-29 1万+
一、熵 （1）原理 初中物理我们对“熵”这个东西懵懵懂懂，印象中仿佛对物体内部的热效应有关，时隔这么多年在机器学习、深度学习领域的学习中又看见了它的踪影，不免有点让人有点熟悉又陌生的感觉。“熵”这个东西看不见又摸不着，到底什么是“熵”？ “熵”是用来干什么的？“熵”是一个系统里面的混乱程度的度量、标尺。系统混乱程度越低，系统的熵值越小，反之越大。 我们先从物理学的角度出发，假设相同条件下有一桶冰水和一桶热水，哪一个的熵值会大呢？ 冰水中的分子热运动速度较慢，内部的分子排布比较有规律。热水内部温
C4.5算法
godenlove007的专栏
08-31 3275
转载自：http://blog.sina.com.cn/s/blog_73621a3201017g7k.html 1.3、C4.5算法 1.3.1、ID3算法的改进：C4.5算法 GOOGLE 学术主页： http://scholar.google.com.hk/citations?user=FjqRZCEAAAAJ     C4.5，是机器学习算法中的另一个分类决策树算法
互信息（Mutual Information）的介绍
热门推荐
猪逻辑公园
06-18 7万+
互信息，Mutual Information，缩写为MI，表示两个变量X与Y是否有关系，以及关系的强弱。如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为:Note: 互信息 I (X; Y)可为正、负或0。互信息实际上是更广泛的相对熵的特殊情形如果变量不是独立的,那么我们可以通过考察联合概率分布与边缘概率分布乘积之间的 Kullback-Leibler 散度来...
[决策树]一步步详解信息增益、增益率、基尼指数
weixin_39564592的博客
07-29 2042
结合B站UP主:致敬大神的讲解和自己的理解作此文章以便自己日后的复习 熵：对一种事物的不确定性 信息：消除不确定性的事物 比如：以买榴莲举例，没任何信息的情况下买榴莲，50%挑到好的，50%挑到坏的，但是如果我们闻了一下后发现味道很香，那么这时，这个被我们闻过的榴莲是好榴莲的几率就上升了 噪音：不能消除对某件事情的不确定性 熵如何度量？ ...
2.2决策树之信息增益率
军军的专栏
02-08 4369
信息增益率 信息增益率计算公式：Gain-ratio=Gain（A）/I G（A）即Gain(S, A)=E(S)–E(S, A)   如下图所示：属性A有五个取值，每个取值对应一个实例，则I（1,1,1,1,1）=-1/5*log(1,5)*5 即：信息增益率的计算在掌握了信息增益的计算的基础上，需要知道分母怎么算，分母的算法与E（S，A）的算法不同，再
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值