信息熵，交叉熵，相对熵

最新推荐文章于 2023-04-19 09:54:31 发布
原创 最新推荐文章于 2023-04-19 09:54:31 发布 · 313 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了信息熵的概念，即衡量系统不确定性的指标，以及交叉熵在神经网络中的应用，特别是在分类任务中作为损失函数的角色。同时，介绍了相对熵（散度）的概念，即编码方案不完美时平均编码长度的增加部分。
部署运行你感兴趣的模型镜像

信息熵：衡量系统中不确定的程度、编码方案完美时，最短平均编码长度
交叉熵：码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度。是神经网络常用的损失函数
相对熵又称为散度：交叉熵-信息熵，relative entropy。编码方案不一定完美时，平均编码长度相对于最小值的增加值。
参考链接：https://www.zhihu.com/question/41252833
神经网络中为什么使用交叉熵与softmax组合的原因？
交叉熵刻画的是预测的分布与真实分布之间的差异，softmax可以将预测的值转化成一个概率分布。

为什么用交叉熵作为分类的损失函数？

https://blog.youkuaiyun.com/weixin_37567451/article/details/80895309

您可能感兴趣的与本文相关的镜像

Qwen-Image

Qwen-Image

图片生成
Qwen

Qwen-Image是阿里云通义千问团队于2025年8月发布的亿参数图像生成基础模型，其最大亮点是强大的复杂文本渲染和精确图像编辑能力，能够生成包含多行、段落级中英文文本的高保真图像

信息熵、交叉熵、相对熵
煎饼加鸡丝
07-23 643
【直观详解】信息熵、交叉熵和相对熵 熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。 信息熵，描述信源的不确定度。 信息熵越大，越无序，越随机，信息量(的期望)越大，要消除不确定性所需信息量越大。 考虑把信息量存储下来需要多大空间/存储代价 (用存储空间表示信息熵(不确定性越高所需存储空间越大)) 举例：表示天气情况的P=[p1,p2,p3,p4]P...
信息熵、相对熵、交叉熵总结
leemusk的博客
07-21 735
1、什么是信息熵 信息熵是由热力学的中的熵引出的概念，在热力学中，熵通常表示事物的混沌程度，事物越混沌，其熵越大。相应的信息熵表示的是随机变量的不确定性，某个事件发生的概率越小，其信息熵越大。具体公式为： H(P)=−∑P(X)logP(X) H(P) = -\sum P(X) logP(X) H(P)=−∑P(X)logP(X) 2. 什么是相对熵 相对熵也称为KL散度，描述的是随机变量的真实分布和假设分布的拟合程度，拟合程度越高，相对熵越小。若真实分布与假设分布完全一致，则相对熵为0。相对熵通常用于统计
信息熵，交叉熵和相对熵
sunflower_sara的机器学习园地
07-23 1032
目录 0.总述 1.信息熵 2.交叉熵 3.相对熵/KL散度(Kullback-Leibler divergence), 亦可称为KL距离 4.举例 5.参考资料 0.总述 现在有两个分布，真实分布p和非真实分布q，我们的样本来自真实分布p。 按照真实分布p来编码样本所需的编码长度的期望为，这就是信息熵H( p ) 按照不真实分布q来编码样本所需的编码长度的期望为，这就是所谓的...
信息熵，交叉熵,相对熵
柔丽君的博客
11-08 264
参考链接：https://www.zhihu.com/question/22178202/answer/577936758 信息熵：通过度量信息，来描述信息熵。 概率描述的是事件发生的确定性，熵表示的是事件发生的不确定性。 选取抛硬币这一不确定性事件作为度量，信息熵是1bit(两种等概率的可能，用bit来描述） （1）等可能事件： 通过对不确定性等可能的事件的数量取对数，可以得到信息熵。 例如小明做选择题ABCD,完全不确定该选哪个，这种情况下小明对每个选项的不确定性都是相同的，这里事件数量是4，取对数得到
相对熵、信息熵和交叉熵
咕噜咕噜
08-18 443
what： 交叉熵是信息论的重要概念；用于度量两个概率分布之间的差异性； 其他相关知识： 信息量： 信息是用来消除随机不确定的东西； 信息量的大小与信息发生的概率成反比； I(x)=−log(P(x))， p(x)表示某一事件发生的概率，log表示自然对数 举例： 信息量为0：“太阳从东边升起” 信息量极大：”2018年中国队成功进入世界杯“ 信息熵： 信息熵也叫熵，是用来表示所有信息量的期望； 期望是每次试验结果的概率 乘以 结果的总和，因此公式如下： 举例：..
信息熵、交叉熵、相对熵、条件熵、互信息的讲解和推导
qq_45802280的博客
12-01 1099
各种熵理论的推导整理，包括信息熵、交叉熵、相对熵、条件熵、互信息
熵、相对熵和交叉熵的区别与联系
condi1997的博客
05-13 1645
目录一.信息量二.熵（信息熵）三.相对熵（KL散度）四.交叉熵五.交叉熵在单分类问题中的应用 一.信息量 信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。 “太阳从东边升起”，这条信息并没有减少不确定性，因为太阳肯定是从东边升起的，这是一句废话，信息量为0。 ”2018年中国队成功进入世界杯“，从直觉上来看，这句话具有很大的信息量。因为中国队进入世界杯的不确定性因素很大，而这句话消除了进入世界杯的不确定性，所以按照定义，这句
彻底搞懂交叉熵、信息熵、相对熵、KL散度、交叉熵损失函数
晴明大大的创作中心
04-29 5361
熵 什么是熵呢？ 简单来讲，熵就是表示一个事件的确定性程度如何。 通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。 比如假设事件Q，有A、B、C三种情况都是有概率性发生的，但是不定。如果其中A比B、C两种种发生的概率更大，那么事件Q发生A的可能性更加确定，换句话说，不确定性更小；如果其中A与B、C两种发生的概率都相等，那么事件Q发生A、B、C的情况都有可能，不确定会发生哪一个，换句话说，不确定性更大。 所以确定性程度越大（即不确定性程度越低），熵越小；确定性程度越低（即不确定性程度
信息熵，交叉熵与相对熵
liu3612162的博客
12-26 452
前言 最近在多处看到熵的概念，之前零散的了解了一下，最近总结下，加深一下理解。 熵 熵是信息论中的一个概念，用于衡量一个随机变量的不确定性，公式很简单：log(1/p(x))log(1/p(x))log(1/p(x))，其中p(x)p(x)p(x)为x的概率分布（离散）或者概率密度（连续）函数，公式很直观，概率越小熵越大，即信息量越大。 信息熵 信息熵为熵的期望，用于衡量一个分布的不确定性，以下为...
熵 信息熵 交叉熵
TranSad的博客
02-12 2091
在信息论当中，我们经常用熵来表示信息的混乱程度和不确定程度。熵越大，信息的不确定性就越强。 熵的公式如下： （注：log默认以2为底） 把这个公式拆开来看其实非常简单：一个负号，一个p(x)以及log(p(x))。我们知道一个事件发生的概率是0-1之间的，这样一个概率值送入log函数（如下图），肯定是小于0的，所以外面再加一个符号，就可以得到我们常见的正值的熵了。 当概率值趋于0或者1时（即确定性很强），则p(x)或者log(p(x))会趋于0，熵就会小；当概率值趋于1/2时...
信息熵、相对熵与交叉熵
鲁班七号
09-24 528
目录1. 信息熵2. 相对熵3. 交叉熵4. 交叉熵与softmax 1. 信息熵   熵是一个信息论中的概念，表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。信息熵公式如下： H(p)=−∑i=1np(xi)logp(xi)H(p)=-\sum_{i=1}^{n}{p(x_i)logp(x_i)}H(p)=−i=1∑n​p(xi​)logp(xi​) 2. 相对熵   相对熵又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)p(x)p(x)和q(x)q(x)q(x)之间的差异
【直观详解】信息熵、交叉熵和相对熵
qwezhaohaihong
10-21 1119
转载自：https://charlesliuyx.github.io/2017/09/11/%E4%BB%80%E4%B9%88%E6%98%AF%E4%BF%A1%E6%81%AF%E7%86%B5%E3%80%81%E4%BA%A4%E5%8F%89%E7%86%B5%E5%92%8C%E7%9B%B8%E5%AF%B9%E7%86%B5/ 【阅读时间】10min - 13min 【内...
信息熵、交叉熵与相对熵
LucyGill的博客
01-04 1322
本文参考了： https://baike.baidu.com/item/%E4%BF%A1%E6%81%AF%E7%86%B5/7302318?fr=aladdin http://blog.youkuaiyun.com/zb1165048017/article/details/48937135 这三个概念广泛用于如nlp等深度学习任务中。TF-IDF等概念，是基于这些基本概念衍生出来的。
信息熵、交叉熵等相关基础知识
weixin_45653897的博客
04-19 1260
信息熵、交叉熵等基本概念
【机器学习】一文理清信息熵，相对熵，交叉熵
Shwan_ma的博客
03-25 1026
初学者在搞清楚这个三个信息论的大怪兽时，往往会晕头转向。本文将简要的对这三个概念进行理清，文章尽量通俗，有不对的地方恳请斧正。 信息熵： 香农提出信息熵主要是用来解决对信息的量化度量问题，比如说存在选项【A,B,C,D】，若每个字母都用8位Ascii码存储，则表示这个四个选项需要32位bit。 如果此时采用二进制的话，4个选项用2位bit便可表示【00,01,10,11】。于是对4个选项信息进行量...
交叉熵和信息熵
SZU_Hadooper的博客
04-24 2101
交叉熵： 用于多分类的损失函数，熵越大模型越不确定，熵越小模型越确定，即优化模型目的是最小化交叉熵 公式如下： 例子： 信息熵： 信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量，信息熵大小与观测者的观测粒度有关，即在P(xi)P(x_i)P(xi​)这个观测分布下熵的大小 相对熵（KL散度） 如果对于同一个随机变量XXX有两个单独的概率分布P(x)P(x)P(x)和Q(x...
信息熵 交叉熵 kl散度 js散度
最新发布
03-24
### 信息熵 信息熵是一种衡量随机变量不确定性的指标。对于离散型随机变量 \(X\)，其概率质量函数为 \(P(X)\)，则信息熵定义如下： \[ H(X) = - \sum_{i=1}^{n} P(x_i) \log_2(P(x_i)) \] 其中，\(P(x_i)\) 表示...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值