决策树熵公式推导

最新推荐文章于 2024-07-19 17:41:17 发布
原创 最新推荐文章于 2024-07-19 17:41:17 发布 · 1.5k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #决策树 #香农熵

本文深入探讨了决策树中的熵概念，通过推导熵的公式，加深对信息量和概率关系的理解。以实际数据集为例，计算了香农熵，展示了熵在评估数据纯度中的作用。同时，提到了Datawhale的《李宏毅机器学习》决策树章节的补充内容作为学习资源。

学习打卡内容：

  • 学习Datawhale对《李宏毅机器学习》决策树章节补充的内容：Additional References(熵的理解)
  • 个人需得推导其中的公式，对熵的概念理解透彻
  • 计算负责人提供的数据集的shangnonEnt

 

                                                   

2 熵

考虑另一个问题，对于某个事件，有nn种可能性，每一种可能性都有一个概率p(xi)p(xi) 
这样就可以计算出某一种可能性的信息量。举一个例子，假设你拿出了你的电脑，按下开关，会有三种可能性，下表列出了每一种可能的概率及其对应的信息量

最低0.47元/天 解锁文章
深度学习基础-决策树算法-熵如何计算举例
中科院AI算法工程师的博客
01-07 9372
↑ 点击上方【计算机视觉联盟】关注我们 目录 0 机器学习中分类和预测算法的评估： 1 什么是决策树/判定树decision tree？  2 决策树“买电脑”实际例子 3熵（entropy）概念： 4 决策树归纳算法（ID3）     4.1递归算法： 5 其他算法     0 机器学习中分类和预测算法的评估： 准确率 速度 强壮性 可否规模性 ...
决策树信息熵数理剖析
luodoudoudou的博客
05-28 695
**决策树信息熵数理剖析** 信息熵记录拓展决策树 张⼀极 ...
决策树和信息熵
angciyu的博客
03-22 1693
有没有玩过或听过这样一个游戏：参与游戏的一方在脑海里想好某个事物，然后其他参与者向他提问，回答者只能回答是还是不是。问问题的人通过答案推理，不断缩小待猜事物的范围。其实上面的过程就类似于决策树的工作原理。就像上面那个游戏，关键点在于如何问问题，那决策树的关键，就在于如何划分数据集。划分数据集的大原则就是：将无序的数据变得更加有序。那用什么衡量有序和无需呢？就是信息熵。要说信息熵，先说说信息量。信息...
决策树中信息熵和信息增益的推导
liuguaaa的博客
10-26 263
决策树如何通过信息增熵确定最终的决策
guoguicheng的博客
09-20 853
信息熵定义： 有n种取值：U1…Ui…Un，对应概率为：P1…Pi…Pn，且各种符号的出现彼此独立。这时，信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值（E），可称为信息熵，即   推导一下条件熵 信息增熵=信息熵-条件熵 ------------------------------------------------------分割线---------------...
决策树公式推导
ifhuke的博客
09-13 1766
决策树的公式推导，例子，示例
机器学习笔记（2）-决策树
最新发布
金融风控笔记
07-19 1612
（1）基尼值​Gini(D)反映了从数据集D中随机抽取两个样本，其类别标记不一致的概率，表示数据集整体的不确定性。Gini(D)越小，数据集D的纯度越高，不确定性越小。（2）基尼指数​表示经a分割后数据集D的不确定性。（3）基尼不纯度的减少量。
决策树算法推导&python应用
12-22
决策树公式推导 （1）信息熵－－用来度量样本集合纯度最常用的一种指标，定义如下： Ent⁡(D)=−∑k=1∣Y∣pklog⁡2pk(式1) \operatorname{Ent}(D)=-\sum_{k=1}^{\vert{\mathcal{Y}}\vert}p_k\log_2p_k\tag{式1} Ent...
决策树算法推导详解及Python实现：信息熵公式与纯度度量
总结来说，决策树算法的基础是信息熵的计算和优化，它是通过概率统计和信息论理论来衡量样本的不确定性，进而指导决策树的生长过程。Python编程中，我们可以利用诸如log、mp等数学库来处理这些计算，同时理解如何...
决策树算法笔记1-信息熵
baidu_35753600的博客
03-15 902
二元信源的信息熵entropy 二元信源：相当于一个二进制的一bit，只有0和1两种可能。 如果0的概率：P 那么1的概率：Q=1-P 信息熵H(U) = −Plog2⁡P−(1−P)log2(1−P) -P log_2⁡P-(1-P) log_2 (1-P) −Plog2​⁡P−(1−P)log2​(1−P) 比赛冠军的信息熵 32 个球队进行比赛，那么冠军花落谁家 所蕴含的信息熵是多少？ 假如每个球队夺冠几率均等， 那么信息熵H(U) = 32∗（1/32∗log2⁡32） 32*（1/32..
香农信息熵的计算.py
03-18
香农信息熵的计算(例1和例2分别为两种不同类型的输入)以及互信息的计算（例3）。其中log默认为自然对数。 #例1： 计算香农信息熵（已知概率分布） #例2： 计算香农信息熵（此时给定了信号发生情况) #例3： 计算互信息（输入：给定的信号发生情况,其中联合分布已经手工给出)
决策树中熵的理解
SherryQiao的博客
01-13 6766
熵，信息增益
决策树-信息熵的数学原理
围城
01-15 763
2018/1/15 信息熵是指一个事件的不确定性，最早接触的时候也是在信息论里面。而从当时课上得内容出发，就是一个通信编码的过程。 但是现在来说，见到的更多的地方是机器学习的部分， 决策树部分，利用信息增益去分裂节点。 不过，虽然这个东西也算是耳濡目染了，但是把，还是没有完全的理解。 就比如去计算一段字符串的信息熵或什么的。 正常情况下，应该是去拿一个字节（8个比特）的内容去代表一个字符，翻译过...
机器学习之算法决策树（分类）——通过例子说明信息熵的计算方法
PY_smallH的博客
12-11 6189
决策树采用的是信息熵或者Gini系数来作为分类标准。 信息熵公式： Gini系数公式： 一般构造一个分类器(sklearn.tree.DecisionTreeClassifier)，默认参数criterion有{“gini”, “entropy”}, 其中default=”gini”。这两个计算公式不一样而已。 我在这里计算的是信息熵的公式，另外的一个也都一样，换一个公式而已。 我们在提到概率问题的时候都会有一个前提假设，假设这些变量或者特征都是相互之间没有关系的，就不会存在组合的情况，不然就没办法计算概率
【机器学习】决策树算法以及熵、条件熵、信息增益等整理
miss0
11-20 2507
一、ID3算法（按照信息增益最大为原则） 理解熵、条件熵： 首先有定义是某事件发生的概率小，则该事件的信息量大。 熵定义：如果一件事有k种可的结果，每种结果的概率为 pi , i=1,2,…，k 信息熵的公式为： 联系之前的定义某事件发生的概率小，则该事件的信息量大。 也就是说信息量是描述变量的不确定性的，值越大表示该事件越不确定（也就是概率小嘛），因此，引入其他变量使得这种不确定
决策树中基本概念——香农熵
qq_23617681的博客
04-08 5782
在学习决策树时，最重要的步骤是构建决策树。 其中，最重要的步骤是根据属性划分数据集，其中先使用哪个属性，后使用哪个属性，是决定决策树构建的好坏的重要标准。 其中，使用属性构建数据集，最重要的参考标准，就是使划分后的信息增益最大。 这里就使用到一个概念：信息熵。 熵：表示随机变量不确定性，即混乱程度的量化指标。 熵越大，不确定性越大，越无序；越小，确定性越大，越有序。 同
决策树的熵问题
九天的博客
05-21 6406
决策树算法： 简介 决策树是一种十分常用的监督学习的分类算法。所谓监管学习，就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。 算法分类 决策树算法目前主要有以下三种：ID3/C4.5/CART ID3算法使用的是信息熵增益 C4.5算法使用的是信息熵增益率 CART算...
决策树中的熵（一）
思过留痕
08-27 8369
通俗介绍决策树中关于熵的理解，包括熵、条件熵、相对熵、互信息以及他们之间关系的推导，通俗理解（后文会继续）。本次只说他们之间的关系。1. 熵 2. 条件熵 3. 相对熵 4. 互信息 5. 相互关系1. 熵样本集合不纯度，熵越小，集合不纯度越低；知识的不确定性，熵越小，不确定性越小。（为什么？下期解说。）2. 条件熵H(X,Y)表示在已知随机变量X的条件下，随机变量Y的不确定性。（条
机器学习之信息熵
aikunjiao3421的博客
01-14 399
1. 　　(1)熵的概念的引入，首先在热力学中，用来表述热力学第二定律。由玻尔兹曼研究得到，热力学熵与微　　观状态数目的对数之间存在联系，公式如下： 　　 　　信息熵的定义与热力学熵的定义虽然不是一个东西，但是有一定的联系，熵在信息论中表示随机变量不确定度的度量。一个离散随机变量X与熵H(X)的定义为： 　　 　　(2)为了便于理解，举个例子：直觉上，信息量等于传输该信息所用的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值