熵、基尼不纯度、KL、互信息

分类纯净度与相关性度量
最新推荐文章于 2025-09-17 14:02:41 发布
原创 最新推荐文章于 2025-09-17 14:02:41 发布 · 2.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#互信息

本文介绍了用于评估分类纯净度的指标如熵和基尼不纯度, 并探讨了衡量两个分布距离的KL散度及评估特征与类别间相关性的互信息等概念。
信息增益，信息增益率，信息熵，互信息，交叉熵，条件熵，gini系数
AmorFati的博客
08-21 2405
信息熵 信息增益 Gain（A）=I(A) -H(A) 信息增益的理解： 对于待划分的数据集D，其 entroy(前)是一定的，但是划分之后的熵 entroy(后)是不定的，entroy(后)越小说明使用此特征划分得到的子集的不确定性越小（也就是纯度越高），因此 entroy(前) - entroy(后)差异越大，说明使用当前特征划分数据集D的话，其纯度上升的更快。而我们在构建最优的决策树的...
互信息法的原理详解
weixin_43837522的博客
01-12 2958
尽管f_regression巧妙的构建了一个F统计量，并借此成功的借助假设检验来判断变量之间是否存在线性相关关系，但f_regression仍然存在较大局限，首当其冲当然是f_regression只能挖掘线性相关关系，也就是两个变量的同步变化关系，但除了线性关联关系外，变量之间存在其他类别的“关联关系”也是有助于模型建模，而其他类型的关系，无法被f_regression识别；不难发现，参数方法是借助样本估计总体，然后根据总体进行推断的过程，而非参数方法则无需总体信息即可计算。接下来我们就进一步介绍可以。
决策树
touchmybody的专栏
03-16 1403
决策树是一种简单的机器学习方法。决策树经过训练之后，看起来像是以树状形式排列的一系列if-then语句。一旦我们有了决策树，只要沿着树的路径一直向下，正确回答每一个问题，最终就会得到答案。沿着最终的叶节点向上回溯，就会得到一个有关最终分类结果的推理过程。 决策树： 1 2 3 4 5 6 7 class 
机器学习中的两个概念： 信息熵 和基尼不纯度
anya0204的博客
07-29 898
1、信息熵： 一个随机变量 X 可以代表n个随机事件，对应的随机变为X=xi, 那么熵的定义就是 X的加权信息量。 H(x) = p(x1)I(x1)+...+p(xn)I(x1) = p(x1)log2(1/p(x1)) +.....+p(xn)log2(1/p(xn)) = -p(x1)log2(p(x1)) - ........-p...
关于信息熵 基尼不纯度
woheni3的博客
01-23 499
1、信息熵 信息论中的信息量和信息熵。 信息量： 信息量是对信息的度量，就跟温度的度量是摄氏度一样，信息的大小跟随机事件的概率有关。 香农定义的一个事件的信息信息量为：I(X) = log2(1/p) 其中p为事件X发生的概率 信息熵：Entropy 一个随机变量 X 可以代表n个随机事件，对应的随机变为X=xi, 那么熵的定义就是 X的加权信息量。 H(x) = p(x1)I(x...
信息熵与Gini不纯度
十四不是八的博客
03-04 1万+
1、信息熵 信息论中的信息量和信息熵。 信息量： 信息量是对信息的度量，就跟温度的度量是摄氏度一样，信息的大小跟随机事件的概率有关。 例如： 在哈尔滨的冬天，一条消息说：哈尔滨明天温度30摄氏度，这个事件肯定会引起轰动，因为它发生的概率很小（信息量大）。日过是夏天，“明天温度30摄氏度”可能没有人觉得是一个新闻，因为夏天温度30摄氏度太正常了，概率太大了（信息点太小
6、信息论相关知识详解
linux的博客
08-25 31
本博客详细介绍了信息论中的核心概念，包括平均惊喜度、熵、Kullback-Leibler散度、互信息等，并结合多个实际案例（如青蛙跳跃、啮齿动物肿瘤收缩、恒星膨胀、人类肿瘤收缩研究等）分析了信息增益在决策树构建中的应用。同时，博客提供了Python代码示例用于计算熵和信息增益，并通过流程图和Venn图直观展示了信息论相关概念之间的关系。这些内容对机器学习、数据分析和分类问题的解决具有重要指导意义。
6、信息论中的关键概念与应用
最新发布
melon的博客
09-17 23
本博客深入探讨了信息论中的核心概念，包括香农熵、相对熵（Kullback-Leibler散度）、互信息及其在决策树中的应用。通过抛硬币、肿瘤收缩和恒星膨胀等实际案例，详细解析了熵、信息增益的计算方法与意义，并结合Python代码展示了对数运算与熵的数值实现。同时介绍了KL散度的非对称性、互信息的相关性度量作用，以及詹森不等式在证明KL散度非负性中的关键角色，全面呈现信息论在机器学习与数据科学中的基础地位与应用价值。
数据挖掘工程师是做什么的？
Nieson2012的专栏
08-09 6430
数据挖掘，从字面上理解，就是在数据中找到有用的东西，哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了，比如电商数据，如淘宝统计过哪个省购买泳衣最多、哪个省的女生胸罩最大等，进一步，可以基于用户的浏览、点击、收藏、购买等行为推断用户的年龄、性别、购买能力、爱好等能表示一个人的画像，就相当于用这些挖掘出来的属性来刻画一个人，这些还是最简单的东西，更深层次的比如预测（股票预测），但是比较难。
基尼不纯度(随机森林)
baidu_32542573的博客
06-10 6632
基尼不纯度：从一个数据集中随机选取子项，度量其被错误的划分到其他组里的概率。(书上解释) 一个随机事件变成它的对立事件的概率（简单理解） 计算公式:(fi为某概率事件发生的概率) 下图是相关曲线图，可以参考数据挖掘导论的98页： 从上图可以看出，基尼系数和熵之半的曲线非常接近，仅仅在45度角附近误差稍大。因此，基尼系数可以做为熵模型的一个近似替代。 讲解案例： 一个随...
决策树算法笔记整理1 - 如何划分？（信息熵，不纯度及信息增益）
Sevieryang/FinTech/Statistics/Quant
01-24 1万+
比特化 假设存在离散随机变量X，取值与概率如下： 取值 概率 A 1/4 B 1/4 C 1/4 D 1/4 现在有一组由X变量组成的序列：BACADDCBAC……，如果现在希望将这个序列进行网络传输，我们可以将每种取值使用两个位进行编码： 取值 编码 A 00 B 01 C 10 D 11 编码后，我们可以得到这样的序列：01001.
机器学习实战之决策树（1）---ID3算法与信息熵，基尼不纯度
chchlh的专栏
12-02 4581
关于ID3算法百度文库有一篇十分详细的文章，介绍看一个例子，给出了具体的计算过程。 文章链接：http://wenku.baidu.com/view/7933c2f6f61fb7360b4c65fd.html 这是最后的决策树的形状，来源是百度文库。 另有一篇优快云博客介绍ID3算法：http://blog.youkuaiyun.com/zhaoyl03/article/details/86656
机器学习---决策树的划分依据（熵、信息增益、信息增益率、基尼值和基尼指数）
weixin_43961909的博客
08-30 3254
当每⽀球队夺冠概率相等都是 1/16 的时侯，Ent(D) = -（16 * 1/16 * log1/16） = 4。假如有 16 ⽀球队，分别编号，先问是否在 1-8 之间，如果是就继续问是否在 1-4 之间， 以此类。从信息的完整性上进⾏的描述：当系统的有序状态⼀致时，数据越集中的地⽅熵值越⼩，数据。从信息的有序性上进⾏的描述：当数据量⼀致时，系统越有序，熵值越低；例子：假设我们没有看世界杯的⽐赛，但是想知道哪⽀球队会是冠军， 我们只能猜测某⽀球队是。其中：Ent(D) 的值越⼩，则 D 的纯度越⾼。
小孩都看得懂的基尼不纯度
weixin_38753422的博客
03-09 3094
全文共1343字，16幅图，预计阅读时间8分钟。本文是「小孩都看得懂」系列的第十一篇，本系列的特点是极少公式，没有代码，只有图画，只有故事。内容不长，碎片时间完全可以看完，但我背...
熵 互信息 Gini指数 和 不纯度
weixin_33897722的博客
06-27 1398
在学习决策树类的算法时，总是绕不开 信息熵、Gini指数和它们相关联的概念，概念不清楚，就很难理解决策树的构造过程，现在把这些概念捋一捋。 信息熵 信息熵，简称熵，用来衡量随机变量的不确定性大小，熵越大，说明随机变量的不确定性越大。计算公式如下： 考虑二元分布的情况，当取2为对数底时，可以得到如下的函数曲线。可以看到，当p=0.5时，不确定性最大，熵的值是1，也最大，当p=0或1时，没有...
机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
热门推荐
04-13 1万+
基尼不纯度：衡量集合的无序程度； 基尼不纯度：将来自集合的某种结果随机应用于某一数据项的预期误差率。 IG(f)=∑i=1mfi(1−fi)=∑i=1mfi−∑i=1mf2i=1−∑i=1mf2i I_G(f)=\sum_{i=1}^mf_i(1-f_i)=\sum_{i=1}^mf_i-\sum_{i=1}^mf_i^2=1-\sum_{i=1}^mf_i^2（1）显然基尼不纯度越小，纯度越高，
基尼不纯度简介 - Gini Impurity
studyvcmfc的专栏
06-21 549
https://www.cnblogs.com/jointech/p/12970187.html
Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
u014765410的博客
02-19 990
Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
基于基尼不纯度的决策树算法实现
“基尼不纯度”作为分裂标准之一，与另一种常见的标准——信息增益（基于熵的变化）形成对比。相比信息增益，基尼不纯度计算更为高效，因为它避免了对数运算，适合处理大规模数据集，且在多数情况下能产生性能相当...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值