信息熵--信息的度量和作用

最新推荐文章于 2025-03-30 21:46:04 发布
原创 最新推荐文章于 2025-03-30 21:46:04 发布 · 2.9k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

信息熵作为信息不确定性的度量，描述了信息中所包含的信息量。高不确定性意味着需要更多信息以确定事实。例如，32支球队夺冠，等概率情况下需问5次；而互信息则衡量信息间的相关程度，帮助我们理解信息如何减少不确定性。在搜索和自然语言处理中，相关信息的获取和利用至关重要。

一直对信息的作用感到不慎了解，看了数学之美中对信息的解释有种豁然开朗的感觉，虽然只是短短的篇幅却对信息的作用有个总体的把握。
信息熵
信息熵描述了信息的不确定性。信息的不确定性程度越高，那么我们就需要越多的信息来弄清楚事实。所以信息熵的大小描述了信息的不确定性也就描述了信息中所包含的信息量。不确定性程度越高，信息量就越少

比如有32支球队，由于没有看比赛我们需要去问别人才会知道结果，在所有球队夺冠的概率相等的前提下，我们需要问log232=5

最低0.47元/天 解锁文章
信息熵：理解与应用
code_program481的博客
09-22 1175
在决策树算法中，信息熵被用来评估数据的不纯度，从而进行树枝的分叉以及树的生长。首先，计算正例和反例出现的概率分别为p和q，p = m / (m + n)，q = n / (m + n)。在决策树中，我们希望选择能够使得数据集的纯度更高的属性进行划分。在决策树的生长过程中，我们希望通过选择信息增益最大的属性来进行树枝的分叉。递归生长：对于每个子集，重复步骤1和步骤2，直到满足停止生长的条件（如子集中的样本属于同一类别，或者没有属性可供划分）。在构建决策树的过程中，根据属性的信息增益来选择最佳的划分属性。
数学之美--信息的度量和作用--信息熵，条件熵和交叉熵
加勒比海鲜王
08-26 2997
保留初心，砥砺前行 这一章节讲解的是关于信息的某些度量。 我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。……直到1948年，Shannon在他著名的论文“通信的数学原理”中提出了“信息熵”的概念，才解决了信息的度量问题，并且量化出信息的作用。信息熵首先，我们可以记住的是，信息熵一般使用符号H来表示，单位是比特。接下来，看一个书中给出的例子： 当我错过了上一届世界杯的比赛，而想
信息熵可以用来做什么呢？
weixin_42600128的博客
12-17 544
信息熵可以用来衡量一个随机变量的不确定性。它是由信息论学家克劳德·香农在1948年提出的一种概念。在数学上，信息熵是指一个随机变量的所有可能取值的熵的期望值。 在计算机科学和信息学中，信息熵常用于衡量一个字符串或文本的不确定性。在机器学习和数据挖掘中，信息熵也可以用来衡量一个数据集的不确定性。例如，在决策树学习中，信息熵可以用来衡量节点的纯度，决定将数据分配到哪一个节点。 总的来说，信息熵是一种重...
信息熵的概念
lxmky的专栏
05-03 1924
<br />　　信息熵：信息的基本作用就是消除人们对事物的不确定性。多数粒子组合之后，在它似像非像的形态上押上有价值的数码，具体地说，这就是一个在博弈对局中现象信息的混乱。<br />　　香农指出，它的准确信息量应该是<br />　　= -(p1*log p1 + p2 * log p2 +　．．．　＋p32 *log p32)，<br />　　其中，p1，p2 ，　．．．，p32 分别是这 32 个球队夺冠的概率。香农把它称为“信息熵” (Entropy)，一般用符号 H 表示，单位是比特。有兴趣的读者可
信息熵的意义
weixin_43779531的博客
06-22 1984
信息熵的真正意义,信息能够量化的过程,能够展示出来的数据,一组数据,在python中的量化过程, 只要能通过计算,将结果运算出来就是将问题转化为一个可以解决的问题 from collections import Counter def entropy(y): counter = Counter(y) res = 0.0 for num in counter.values(): p = num / ...
精选资源
基于最小信息熵-最大增值熵的投资组合优化模型 (2011年)
05-13
针对Markowitz的均值-方差模型的缺陷，用信息熵代替方差度量风险，用反映资金的增值速度的增值熵代替均值，提出了一种新型投资组合模型――最小信息熵-最大增值熵模型，并通过多目标决策方法中的模糊集理论对模型...
自信息量-信息熵-KL散度-交叉熵损失.pdf
12-30
自信息量是衡量单个事件不确定性大小的度量，与信息熵相似，但关注的是单个事件而不是整个概率分布的平均不确定性。信息量有比特（香农信息量）和奈特信息量之分，它们的计算公式相同，仅对数的底数不同。对于离散型...
基于信息熵-模糊数学的岩巷掘进机械化作业线选择方法研究
07-15
为缓解日益紧张的采掘矛盾,...构建了基于"信息熵-模糊数学"的岩巷掘进"机械化作业线选择方法数学模型",用于指导煤矿岩巷掘进机械化作业线的选择。在霍州煤电甘河矿二采区运输巷成功应用,取得了良好的经济和社会效益。
粗糙集理论中的信息熵和基于互信息的不确定性度量
04-15
综上所述，粗糙集理论中的信息熵和基于互信息的不确定性度量是理解和处理不确定性信息的关键技术，它们在理论研究和实际应用中都显示出广泛的应用价值，尤其是在人工智能和大数据处理领域。通过对这些概念的深入理解...
信息熵是什么
a8131357leo的博客
03-26 2160
文章转自转载： https://blog.youkuaiyun.com/saltriver/article/details/53056816，只是画了一些重点自己学的重要的东西 信息是我们一直在谈论的东西，但信息这个概念本身依然比较抽象。在百度百科中的定义：信息，泛指人类社会传播的一切内容，指音讯、消息、通信系统传输和处理的对象。但信息可不可以被量化，怎样量化？答案当然是有的，那就是“信息熵”。早在1948年...
搜索和信息的作用——条件熵
Lenskit
05-14 1155
网页搜索本质上就是从几十亿个网页中，找到和用户输入的搜索词最相关的几个网页。几十亿种可能性，当然是很大的不确定性U。因此网页搜索本质也是利用信息消除不确定性的过程。如果提供的信息不够多，比如搜索词是常用的关键词，诸如“中国”、“经济”之类的，那么会有好多相关的结果，用户可能还是无从选择。     这时正确的做法是挖掘新的隐含信息，比如网页本身的质量信息。如果这些信息还是不够消除不确定性，不妨再问
信息的度量（信息熵）
weixin_39454351的博客
01-13 980
信息熵：一条信息的信息量和其不确定性有着直接的关系，比如我们想弄清楚一个非常不确定的事需要大量的信息，可以认为信息量就是不确定性的多少。 比如错过了世界杯，想要猜32个球队哪只是冠军，可以先问是1-16吗，假如猜对了，可以继续问1-8吗，这样就需要五次就可以知道哪个球队是冠军，所以谁是冠军这个信息就是5. 有些人发现可能不需要五次就能猜出来谁是冠军，因为有些球队夺冠的可能性更大一些，因此猜的时...
用最通俗易懂的语言告诉你什么是信息熵
热门推荐
Machine Learning with Tutors
01-16 2万+
直接传递ABCD的ascii码的话，每个答案需要8个bit的二进制编码，从传输的角度，这显然有些浪费。信息论最初要解决的，就是数据压缩和传输的问题，所以这个作弊团伙希望能用更少bit的编码来传输答案。实际上，熵的概念首先在热力学中引入，用于表述热力学第二定律。信息熵的定义与上述这个热力学的熵，虽然不是一个东西，但是有一定的联系。直觉上，信息量等于传输该信息所用的代价，这个也是通信中考虑最多的问题。，那么同样需要问3次（问题1，问题2，问题3），概率为。，那么需要问3次（问题1，问题2，问题3），概率为。
《数学之美》—信息的度量和作用
08-03 194
1、信息熵？H(X) = -（p1*logp1 + p2*logp2 + ... + Pn*logpn） 2、一条信息的信息量与其不确定性有着直接的关系 摘要与理解： 几乎所有的自然语言处理、信息与信号处理的应用都是一个消除不确定的过程。 如果没有信息的引入，任何公式或者数字...
信息熵(Information Entropy)及其在电商搜索领域中的应用
laolu1573的专栏
03-21 1441
信息熵是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。 计算公式 给定的样本集X的信息熵的公式： entropy=−∑i=1Cpilog2(pi)entropy = -\sum_{i=1}^{C} p_{i} log_{2} (p_{i})entropy=−i=1∑C​pi​log2​(pi​) 参数的含义： ...
谈谈信息熵--信息的度量
freeliao的专栏 在路上奔跑。。。
01-07 6234
信息是一个抽象的概念，表示某个事件、情况或者概率，很难给信息下一个定义。我们常常说信息的多少，这个多少却很难度量。比如我们说一部中文字典到底有多少信息量，一本50多万字的《史记》又有多少信息量。究竟信息背后有没有理论基础呢？在香农信息论诞生以前，我们没有准确的数学方法来描述信息。直到1948年，香农在他著名的论文“通信的数学原理”中提出了“信息熵”的概念，信息的度量问题才得以解决。香农的信息论如今
信息熵 (Entropy)
weixin_39699362的博客
03-04 1万+
对于离散概率分布，若有两个概率分布PPP和QQQ，其中 § 通常代表数据的真实分布，而QQQ代表模型预测的分布，那么交叉熵HPQH(P, Q)HPQHPQ−∑xPxlog⁡QxHPQ−∑x​PxlogQx))这里的求和是对所有可能事件xxx进行的，PxP(x)Px是样本点xxx在真实分布中的概率，QxQ(x)Qx是样本点xxx在预测分布中的概率。对于离散随机变量，如果我们有两个概率分布PPP和Q。
信息熵是信息论中的一个核心概念，用来衡量随机变量的不确定性
最新发布
xuukai的博客
03-30 1022
统计意义上，信息熵反映了随机变量的平均不确定性，熵值越大，不确定性越高；例如，熵值为 (H(X)) 的随机变量，理论上可以用 (H(X)) 比特的平均长度进行无损编码。它假设在满足某些约束条件的情况下，选择熵最大的概率分布，因为这种分布最“均匀”，不确定性最高。它表示在不知道随机变量具体取值的情况下，我们对它可能取值的“平均不确定性”。信息熵衡量了随机变量的不确定性。在信息论中，熵增意味着系统中的不确定性增加，或者信息量的平均值增加。如果事件的概率越接近 0（几乎不可能发生的事件），其对熵的贡献越大。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值