【损失函数】熵/相对熵/交叉熵

已于 2022-03-07 14:45:16 修改
阅读量594 收藏
点赞数
分类专栏： 机器学习-算法 文章标签： 概率论 机器学习 算法
于 2022-02-11 23:25:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45721997/article/details/122890432
版权
本文介绍了信息论中的基本概念——熵，它表示一种可能性的所有信息量。接着讨论了相对熵（KL散度），用于衡量真实分布与预测分布的差异，值越小表示两者越接近。最后，解释了交叉熵的概念，它是从KL散度公式变形而来，常用于损失函数优化。博客适合信息论和机器学习的学习者进行复习和整理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

便于理解但是不够精确的说法：
熵：一种可能性的所有的信息量
相对熵（KL散度）：真实分布与预测的分布的信息量的差（真实-预测），值越小说明与真实约接近。
交叉熵：由kl散度公式变形而得，式子拆开来前半部分是熵后半部分就是交叉熵。因为前面的熵不变，所以优化的时候直接用交叉熵计算损失更加方便。

变形后的kl散度博客记录便于复习与整理，如有不对请指教，谢谢！

参考文献

https://blog.youkuaiyun.com/tsyccnh/article/details/79163834

机器学习之相对熵、交叉熵（为什么交叉熵可以作为损失函数）
冰糖麻辣鱼的博客
12-10 646
文章目录自信息信息熵相对熵（KL散度）交叉熵为什么交叉熵可以作为损失函数参考文章 自信息   信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能够提供发更多的信息。消息说：“今天早上太阳升起”，信息量是如此少，以至于没有必要发送；但一条消息说：“今天早上有日食”，信息量就很丰富。   一条信息的信息量大小和它的不确定性有直接的关系，我们可以认为，信息量的度量就等于不确定...
深入浅出之交叉熵与相对熵损失函数
浩瀚之水的专栏
09-23 1850
交叉熵是Shannon信息论中的一个重要概念，主要用于度量两个概率分布间的差异性信息。在机器学习中，交叉熵通常用于度量预测分布与真实分布之间的差异，特别是在分类任务中。交叉熵越小，表示预测分布越接近真实分布，模型的预测效果越好。
损失函数熵理解
qq_48034566的博客
03-20 825
损失函数熵理解 详解：https://www.cnblogs.com/wangguchangqing/p/12068084.html#autoid-0-0-0 熵：信息量大小，和化学中的混乱程序想对比理解，越大表示不确定性越大，信息量越小；因此越小越好 相对熵：也叫KL散度，两个概率分布的相似程度，越小越相似，从公式也可以看出来两个每个的概率都相同，那么为0； 交叉熵：目标分布与原分布的相似程度； 很多损失函数都是用交叉熵表示的，就是用自己求出的分布和原分布比较相似性，越小越好，其中含有的含义就是相似
为什么使用交叉熵代替二次代价函数_机器学习基础——详解机器学习损失函数之交叉熵...
weixin_39622123的博客
11-20 325
点击上方蓝字，和我一起学技术。今天这篇文章和大家聊聊机器学习领域的熵。我在看paper的时候发现对于交叉熵的理解又有些遗忘，复习了一下之后，又有了一些新的认识。故写下本文和大家分享。熵这个概念应用非常广泛，我个人认为比较经典的一个应用是在热力学当中，反应一个系统的混乱程度。根据热力学第二定律，一个孤立系统的熵不会减少。比如一盒乒乓球，如果把盒子掀翻了，乒乓球散出来，它的熵增加了。如果要将...
损失函数--交叉熵及其他损失
得克特
01-08 4754
文章目录损失函数梯度 25天看完了吴恩达的机器学习以及《深度学习入门》和《tensorflow实战》两本书，吴恩达的学习课程只学了理论知识，另外两本书的代码自己敲了一遍，感觉过的太快，趁着跑cGAN的时间把两本书的知识点总结下，然后继续深度学习的课程。欢迎小伙伴一起学习~ 另外，本文先把框架搭好，后续会一直补充细节和知识点。 最后，本文参考的书是《深度学习入门》斋藤康毅著，十分推荐初学者使用。 本...
深度学习之损失(Loss)函数的介绍【详解】
qq_23022733的博客
06-30 6144
深度学习之损失函数的介绍
熵、相对熵、交叉熵等理解
weixin_41093566的博客
04-11 1099
** 信息量 ** 假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关，...
与信息熵相关的概念梳理(条件熵/互信息/相对熵/交叉熵)
Eason的博客
11-29 5794
香农信息量信息量表示不确定性的大小。 信息量的单位是比特（bit）。香农信息量=log1p=−logp(以2为底)香农信息量=\log\frac{1}{p}=-\log p\quad(以2为底)上式中，p越小，则不确定性越大，包含的信息量就越多。比如32支球队，在无任何先验信息的前提下，用二分法猜冠军队伍，最多猜5次，那么信息量就是log132=5\log \frac{1}{32}=5。信息熵（En
熵、相对熵和交叉熵的区别与联系
condi1997的博客
05-13 1584
目录一.信息量二.熵（信息熵）三.相对熵（KL散度）四.交叉熵五.交叉熵在单分类问题中的应用 一.信息量 信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。 “太阳从东边升起”，这条信息并没有减少不确定性，因为太阳肯定是从东边升起的，这是一句废话，信息量为0。 ”2018年中国队成功进入世界杯“，从直觉上来看，这句话具有很大的信息量。因为中国队进入世界杯的不确定性因素很大，而这句话消除了进入世界杯的不确定性，所以按照定义，这句
分类问题损失函数 – 交叉熵
01-06
信息熵： 表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。熵越大，随机变量或系统的不确定性就越大。...前半部分就是p(x)的熵，后半部分就是交叉熵： 机器学习中，我们常常使用KL散度来评估pr
熵、交叉熵与损失函数
泓源的博客
04-12 731
在机器学习中一些分类问题通常以交叉熵作为损失函数，有必要系统的了解一下熵与交叉熵。 1. 熵 熵是一个很抽象的概念，在百度百科中的解释是–熵本质是一个系统“内在的混乱程度”。 更具体地，可以理解为一件事发生概率P的确定性。比如当P=0一定不发生或者P=1一定发生时，熵最小为0；当P=0.5最不确定发生或者不发生时熵最大为1。即一件事情越难猜测发生或者不发生时熵就越大，越好猜测的熵就越小。 熵的公式...
【深度学习数学基础】熵、信息熵、相对熵(KL散度)、交叉熵是如何做损失函数
糖炒栗子
12-05 336
从个人理解的角度来说，这次写一篇博客，常看常修常新吧。
从信息熵、相对熵到交叉熵损失函数
qq_41296039的博客
04-04 1181
介绍了机器学习中的三个重要概念：信息熵、相对熵和交叉熵。通过通俗易懂的语言以及实例的方式，阐述了这些概念的含义和作用。在实践中，我们通常使用交叉熵作为损失函数，最小化其值，以提高模型的预测准确率。虽然以上是机器学习中的概念，但是在实际应用中可能会有很多变化和扩展，需要根据实际工作和研究进行深入的学习和探索。
交叉熵损失函数公式_交叉熵损失函数 与 相对熵，交叉熵的前世今生
weixin_39801075的博客
12-08 1144
0. 总结 (本文目的是讨论理解一下相对熵(KL)与交叉熵(cross-entropy)的关系，以及相应的损失函数)熵的本质： 信息量 log(1/p)的期望 的期望。交叉熵：物理意义： 用模拟分布Q去编码真实分布P所需要的平均编码长度(比特个数底数为2时交叉熵损失函数:(这里的连加sigma 是把一个样本分布的所有概率下的信息量进行的连加，例如我们就求一句话分类的损失， 假设类别有3个， 那么就...
机器学习 | 算法模型 —— 算法训练：损失函数之交叉熵（熵/相对熵/KL散度/sigmoid/softmax）
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
07-10 2733
目录 1.信息论 1.1.信息量 1.2.熵 1.3.KL散度（相对熵） 1.4.交叉熵 2.交叉熵的类型 2.1.多分类交叉熵 2.2.二分类交叉熵 3.学习过程（以二分类为例） 3.1.第一项求偏导 3.2.第二项求偏导 3.3.第三项求导 3.4.计算结果 1.信息论 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。同时，交叉熵也是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。 1.1.信息..
常用损失函数小结
zhangjunp3的博客
05-27 8万+
一、摘要本文主要总结一下常见的损失函数，包括：MSE均方误差损失函数、SVM合页损失函数、Cross Entropy交叉熵损失函数、目标检测中常用的Smooth L1损失函数。其中还会涉及到梯度消失、梯度爆炸等问题：ESM均方误差+Sigmoid激活函数会导致学习缓慢；Smooth L1损失是为了解决梯度爆炸问题。仅供参考。二、均方误差损失2.1 均方差损失函数的定义：均方差损失函数常用在最小二乘...
彻底搞懂交叉熵、信息熵、相对熵、KL散度、交叉熵损失函数
晴明大大的创作中心
04-29 4780
熵 什么是熵呢？ 简单来讲，熵就是表示一个事件的确定性程度如何。 通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。 比如假设事件Q，有A、B、C三种情况都是有概率性发生的，但是不定。如果其中A比B、C两种种发生的概率更大，那么事件Q发生A的可能性更加确定，换句话说，不确定性更小；如果其中A与B、C两种发生的概率都相等，那么事件Q发生A、B、C的情况都有可能，不确定会发生哪一个，换句话说，不确定性更大。 所以确定性程度越大（即不确定性程度越低），熵越小；确定性程度越低（即不确定性程度
损失函数——交叉熵损失函数（CrossEntropy Loss）
热门推荐
weixin_45665708的博客
12-16 11万+
损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六
损失函数——KL散度（Kullback-Leibler Divergence，KL Divergence）
weixin_50752408的博客
03-15 2万+
KL散度衡量的是在一个概率分布 �P 中获取信息所需的额外位数相对于使用一个更好的分布 �Q 所需的额外位数的期望值。要在训练中使用 KL散度作为损失函数，可以将其作为模型的一部分加入到损失函数的计算中。在机器学习中，KL散度常常用于衡量两个概率分布之间的差异程度，例如在生成模型中使用 KL散度作为损失函数的一部分，或者在聚类和分类问题中使用 KL散度作为相似度度量。需要注意的是，KL散度的计算要求 P 和 Q 的元素都为正数，因此需要在计算前对两个概率分布进行归一化处理，使其元素和为 1。
损失函数交叉熵
最新发布
03-21
### 关于交叉熵损失函数的概念及用法 #### 什么是交叉熵损失函数？ 交叉熵损失函数是一种用于衡量两个概率分布之间差异的工具，在机器学习和深度学习领域广泛应用于分类任务。它通过比较模型输出的概率分布与目标的真实分布来计算误差，从而指导优化过程[^1]。 #### 数学定义 对于一个多分类任务，假设模型的预测输出是一个概率向量 \( p = (p_1, p_2, ..., p_n) \)，其中 \( p_i \) 表示第 \( i \) 类别的预测概率；真实的标签也是一个独热编码向量 \( q = (q_1, q_2, ..., q_n) \)，其中只有正确类别的位置为 1，其余均为 0。那么交叉熵损失可以表示为： \[ L(p, q) = -\sum_{i=1}^{n} q_i \log(p_i) \] 这里 \( n \) 是类别总数，\( q_i \) 和 \( p_i \) 分别代表真实分布和预测分布在第 \( i \) 类上的值[^2]。 #### 原理分析 交叉熵的核心思想来源于信息论中的概念——熵和相对熵（即 KL 散度）。简单来说，熵描述了一个随机变量本身的不确定性程度，而相对熵则用来量化两种不同分布之间的距离。当我们将这两个理论应用到监督学习场景下时，就得到了所谓的“交叉熵”，其本质是对数似然估计的一种形式化表达方式[^3]。 #### 为何选择交叉熵而非其他方法比如 MSE? 尽管均方误差(MSE)也可以作为评估标准之一，但在处理分类问题上却存在明显不足之处。主要原因在于Sigmoid或者Softmax激活后的数值范围被压缩到了(0,1)区间内，如果采用平方差的形式，则会使得梯度过小以至于收敛速度变慢甚至停滞不前。相比之下，利用负对数操作构成的CrossEntropy能够有效放大错误样本的影响权重，促使网络更快更好地调整参数直至达到最优解状态[^4]。 ```python import tensorflow as tf # 定义真实标签和预测值 true_labels = [[0., 1.], [1., 0.]] predicted_values = [[0.6, 0.4], [0.4, 0.6]] # 计算交叉熵损失 cross_entropy_loss = tf.keras.losses.categorical_crossentropy(true_labels, predicted_values) print(cross_entropy_loss.numpy()) ``` 上述代码片段展示了如何基于TensorFlow框架实现基本版的多分类交叉熵计算流程。给定一组已知的实际类别标记以及对应的神经元层末端经过softmax转换后得到的可能性数组列表之后，调用内置API即可简便获取最终结果。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值