信息熵、条件熵、信息增益

原创 已于 2023-06-26 19:26:30 修改 · 3.8k 阅读 · 68 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #机器学习 #算法

于 2023-06-25 21:33:50 首次发布

一、信息熵 

H(D) = -\sum_{i=1}^{k} p_{i}log p_{i}

p_{i} = \frac{C_{i} }{D}

其中：

p_{i} ：样本属于第i个类别的概率

D ：总样本数

C_{i}：集合 D 中属于第 i 个类别的样本个数

二、条件熵

条件熵是在给定某个特征的情况下，对于分类结果的不确定性的度量。

  • 条件熵越大，说明在给定该特征的情况下，样本的分类结果越不确定，即样本的混乱程度越高
  • 条件熵较小，说明在给定该特征的情况下，样本的分类结果越趋向于一致，即样本的混乱程度越低

当一个特征的取值数目较多时，它可以将样本划分为更多的子集，这样可以更好地区分不同类别的样本，从而降低条件熵。

最低0.47元/天 解锁文章
SmartDemo
关注
信息熵 (Entropy)
weixin_39699362的博客
03-04 1万+
对于离散概率分布，若有两个概率分布PPP和QQQ，其中 § 通常代表数据的真实分布，而QQQ代表模型预测的分布，那么交叉熵HPQH(P, Q)HPQHPQ−∑xPxlog⁡QxHPQ−∑x​PxlogQx))这里的求和是对所有可能事件xxx进行的，PxP(x)Px是样本点xxx在真实分布中的概率，QxQ(x)Qx是样本点xxx在预测分布中的概率。对于离散随机变量，如果我们有两个概率分布PPP和Q。
数据分析 | 信息增益与基尼系数的通俗解释（含实例）
月婵婵的程序媛生涯
03-11 7165
信息增益是基于信息论的概念，用于度量在给定特征的情况下，数据集的不确定性减少程度。在决策树中，选择能够使得信息增益最大的特征作为划分节点。基尼系数是一种衡量数据集纯度（impurity）的指标，它表示从数据集中随机抽取两个样本，其类别标签不一致的概率。在决策树中，选择基尼系数最小的特征作为划分节点。
信息量与信息熵
最新发布
qq_42787054的博客
09-24 1115
熵本身是热力学上的定义，度量的是系统的无序程度。而在信息论中，熵指的就是事物发生的不确定性。熵和信息，可以理解为一组相对的概念，消除熵=获取信息。
一篇文章彻底搞懂熵、信息熵、KL散度、交叉熵、Softmax和交叉熵损失函数
m0_62881487的博客
09-26 1万+
1. 熵是一个物理学概念，它表示一个系统的不确定性程度，或者说是一个系统的混乱程度。2. 信息熵：一个叫香农的美国数学家将熵引入信息论中，用来衡量信息的不确定性，并将它命名为 “香农熵” 或者 “信息熵”。
机器学习（22）---信息熵、纯度、条件熵、信息增益
m0_62881487的博客
10-12 3040
好的条件就是信息增益越大越好，即变化完后熵越小越好（熵代表混乱程度，最大程度地减小了混乱）。因此我们在树分叉的时候，应优先使用信息增益最大的属性，这样降低了复杂度，也简化了后边的逻辑。信息的混乱程度越大，不确定性越大，信息熵越大；对于纯度，就是信息熵越大，纯度越低。熵可以表示样本集合的不确定性，熵越大，样本的不确定性就越大。2. 纯度的通俗理解：一个盒子里只有白球，说明这个盒子很纯，纯度很高。，是信息量的差值，表示此条件对于信息熵减少的程度。}，都是男的，那么就说这个集合纯度很高。的条件概率分布的熵对。
通俗理解条件熵
AI_盲的博客
04-25 4万+
1  信息熵以及引出条件熵 我们首先知道信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下： 我们的条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望 这个还是比较抽象，下面我们解释一下： 设有随机变量（X,Y），其联合概率分布为
信息熵.zip_信息 信息熵_信息增益_信息熵_信息熵计算_条件熵
07-15
可以计算信息熵、信息熵增益、以及选取较大增益属性作为分类条件
AI基础：信息熵、信息增益、信息增益率、基尼指数
maoyuanming0806的博客
09-08 3629
给实习生聊到决策树、GBDT，有几个概念这里再用易懂的方式解释下 文章目录信息熵条件熵信息增益信息增益率基尼指数 信息熵是决策树的基础 信息增益-ID3算法构建决策树 信息增益率-C4.5算法构建决策树 基尼指数-Cart算法构建决策树 信息熵 用另外一个词来说就是纯度，一个盒子里只有白球，说明这个盒子很纯，纯度很高。一个集合里只有一类样本，比如表示男女的样本集合U={男，男，…}都是男的，那么就说这个集合纯度很高。 纯度相对于信息熵呢？首先熵，是热力学的概念，表示体系混乱度.
（1）信息熵，条件熵，信息增益，信息增益率
xdg15294969271的博客
08-17 3513
介绍信息熵和信息增益之前，先介绍信息增量的概念 文章目录1、信息量2、熵3、条件熵4、信息增益5、参考文献： 1、信息量 定义：信息多少的量度，与事件发生的概率相关。 信息量用III表示， 记事件A发生的概率为p，则事件A的信息量计算公式： IA=−log⁡2(p) I_A = -\log_2(p) IA​=−log2​(p) 例子 :比如说，我们掷骰子，点数为一事件的概率为16\frac{1}{6}61​, 那么该事件的信息量为： IB=−log⁡2(16)=log⁡26≈2.6 I_B = -\lo
信息熵公式的由来（转）
qq_15906905的博客
07-10 1022
作者：忆臻链接：https://www.zhihu.com/question/22178202/answer/161732605来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 首先我们要区分信息量和信息熵的区别。 下面根据我的理解一步一步引出信息熵及其公式的来源： 信息熵的公式 先抛出信息熵公式如下： <img...
条件熵和信息熵
欢迎来到我的博客
07-24 1399
设随机变量XYXY是空间X×YX×Y中的一对随机变量。若他们的联合分布是pxypxy，边缘分布分别是pxpx和和和pypyIX;YDKL​pxy∥px⊗py))其中，DKLDKL​为KL散度(Kullback–Leibler divergence)。注意，根据KL散度的性质，若联合分布pxyp(x,y)pxy等于边缘分布pxp(x)
对条件熵和信息增益关系的理解
weixin_45834080的博客
11-12 549
目录一、信息熵 一、信息熵 信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。其公式为： 其中 p(xi)p(x_i)p(xi​)代表随机事件X为 xix_ixi​的概率 还有一种表示方法是： 假定当前样本集合D中第kkk类样本所占的比例为pk(k=1,2…，∣γ∣)p_k(k=1,2…，|γ|)pk​(k=1,2…，∣γ∣),则信息熵的公式为： ...
【机器学习】揭秘机器学习的“三剑客”：信息熵、条件熵与信息增益
制定明确可量化的目标，坚持默默的做事。
04-30 2万+
机器学习中的“三剑客”——信息熵、条件熵与信息增益，是理解数据特征与决策过程的关键工具。信息熵衡量数据的不确定性，条件熵则描述了在给定条件下数据的不确定性变化。而信息增益则通过比较两者，揭示某一特征对减少不确定性的贡献，帮助机器学习算法如决策树进行特征选择，优化分类与回归效果。这三者共同构成了机器学习领域数据分析和决策优化的重要基石。
信息熵、条件熵、信息增益率
weixin_67463124的博客
04-14 3760
信息熵、条件熵、信息增益率直观讲解
信息熵和条件熵
weixin_48967543的博客
06-07 506
引言优惠券网站 https://m.cps3.cn/ 今天在逛论文时突然看到信息熵这个名词，我啪的一下就记起来了，很快啊！！这不是我大一第一节信息资源管理概论课讲到的第一个专业名词吗，信息熵我可熟了，章口就来，信息熵是负熵 .......淦，负熵又是啥。好家伙，一整门课的知识都还给老师了，只记得老师给我们大肆推荐的《JinPingMei》...... orz，对不起老师我错了，快逃！！ 为了赎罪，求生欲满满的我马上、很快啊，就把信息熵给复习了一遍，连带条件熵都给复习了，真不戳！好吧，开个玩笑。因为前段时间.
信息熵到底是什么
热门推荐
saltriver的专栏
11-06 12万+
信息是我们一直在谈论的东西，但信息这个概念本身依然比较抽象。在百度百科中的定义：信息，泛指人类社会传播的一切内容，指音讯、消息、通信系统传输和处理的对象。 但信息可不可以被量化，怎样量化？答案当然是有的，那就是“信息熵”。早在1948年，香农(Shannon)在他著名的《通信的数学原理》论文中指出：“信息是用来消除随机不确定性的东西”，并提出了“信息熵”的概念（借用了热力学中熵的概念），来解
信息熵
小时候挺菜的博客
12-05 2266
信息熵 一、通俗解释 熵是衡量“信息量“大小的一个数值。什么叫”信息量“？举个例子。 假设你现在玩一个猜硬币正反面的游戏，有个人扔一次硬币，你猜正反面，猜对了可以拿100块钱，猜错了就没有钱。 现在有一个能预知未来的人，他知道本次抛硬币的结果，并且他愿意告诉你，只要你给他一定数量的钱。 那么在如下四种情况下，如果他告诉你下一次硬币抛出的是”正面“...
信息增益--熵
weixin_46042803的博客
07-09 469
信息增益、熵
信息熵，条件熵，信息增益与信息增益比
LookayKwok的专栏
08-04 700
1. 信息熵 熵表示随机变量不确定性的度量。设  是一个取有限值的离散随机变量，其概率分布为                                                                          那么随机变量  的信息熵为                                                               ...
机器学习信息熵信息增益条件熵
03-08
### 信息熵、信息增益和条件熵的概念 #### 信息熵 (Entropy) 信息熵用于衡量系统的不确定性程度，在机器学习领域特别是决策树构建过程中起着重要作用。对于一个离散随机变量 \(X\) ，其概率分布为 \(\{p_1, p_2,...,p_n\}\)，则该随机变量的信息熵定义如下： \[ H(X) = -\sum_{i=1}^{n}{p_i \log_b(p_i)} \] 其中，\(b\) 是对数的底数，通常取值为2或者自然常数e；当某个事件的概率为0时，默认认为对应的项等于0。 在实际应用中，比如分类问题里，如果某类别的样本占比很大，则说明这个类别很容易被预测到，此时系统整体混乱度较低，相应的信息熵也较小；反之亦然[^1]。 ```python import math from collections import Counter def calc_entropy(data_set): num_entries = len(data_set) label_counts = {} for feat_vec in data_set: current_label = feat_vec[-1] if current_label not in label_counts.keys(): label_counts[current_label] = 0 label_counts[current_label] += 1 entropy = 0.0 for key in label_counts: prob = float(label_counts[key]) / num_entries entropy -= prob * math.log(prob, 2) return entropy ``` #### 条件熵 (Conditional Entropy) 设有一个数据集 \(D\) 和特征 \(A\) 。经验条件熵是指给定条件下子数据集中目标属性的平均不确定性。具体来说就是先按照特征的不同取值划分成若干个子集合，再分别求这些子集合中的信息熵并加权求和得到最终的结果。 \[ H(Y|X)=\sum _{{x}}P(x)\cdot H(Y|x), \] 这里 \(H(Y|x)\) 表示已知输入 \(x\) 的情况下输出 \(Y\) 的剩余混淆度量，而 \(P(x)\) 则代表各个可能情况发生的频率比例。 ```python def split_data_set(data_set, axis, value): ret_data_set = [] for feat_vec in data_set: if feat_vec[axis] == value: reduced_feat_vec = feat_vec[:axis] reduced_feat_vec.extend(feat_vec[axis+1:]) ret_data_set.append(reduced_feat_vec) return ret_data_set def calc_conditional_entropy(data_set, i): feature_list = [example[i] for example in data_set] unique_vals = set(feature_list) new_entropy = 0.0 for value in unique_vals: sub_data_set = split_data_set(data_set, i, value) prob = len(sub_data_set)/float(len(data_set)) new_entropy += prob * calc_entropy(sub_data_set) return new_entropy ``` #### 信息增益 (Information Gain) 信息增益用来评估某一特定特征的重要性，它反映了通过引入此特征所能减少多少关于结果的知识上的模糊性。简单来讲就是在考虑了新加入的因素之后整个体系变得更加有序的程度。计算方式是从原始的数据集总熵减去基于所选特征分割后的各部分熵之和得出差值即为信息增益。 \[ IG(D,A)=H(D)-H(D|A). \] 这里的 \(IG(D,A)\) 就是对于数据集 \(D\) 而言由特征 \(A\) 所带来的信息增益大小[^2]。 ```python def calc_info_gain(data_set, base_entropy, i): conditional_ent = calc_conditional_entropy(data_set, i) gain = base_entropy - conditional_ent return gain ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值