随笔系列之 交叉熵(cross entropy) and KL divergence

最新推荐文章于 2024-11-22 17:28:47 发布
原创 最新推荐文章于 2024-11-22 17:28:47 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了交叉熵和KL散度的概念及其在机器学习中的应用。交叉熵被用作损失函数，衡量模型预测与真实分布之间的差异；KL散度则量化了两个概率分布间的差异。文章还讨论了二者的关系及应用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

有关交叉熵Cross Entropy 与KL 散度的一点点

cross entropy

我相信了解过机器学习的基本算法的人没有不知道交叉熵这个东西的;通常,我们在机器学习的模型训练中会使用交叉熵作为我们损失函数 log loss. 但是,我们可能大概的理解,只要这个交叉熵损失函数越小,我们的模型就会越准确,似乎是意见很神奇的事情;如果理解的多一点的可能会从其表达式来理解,比如:二分类问题的交叉熵:−ylog(p)−(1−y)log(1−p)−ylog(p)−(1−y)log(1−p),直观的感受告诉我们:如果是正类那么显然p越大这个损失函数值越小;如果是反类,那么显然p越小,1-p越大,损失函数值越小;所以,可以从直觉上去解释这个损失函数为什么会work.

但是除此之外交叉熵还有别的物理意义吗? 答案是肯定的!

下面我打算简单聊聊交叉熵的物理意义:


  • 谈及交叉熵,必然离不开熵的定义H(p)=∑plog(p)H(p)=∑plog(p),其所表达的是p所描述的数据的分布的杂乱程度,但是从另一个角度来说,其所表达的是编码p所需要传递的message所需要的bits数；对于概率较高的很明显应该给予较短的编码以便较少信息传递总量；
  • OK,那么交叉熵cross entropy,通常使用H(p,q)来表达,表示使用q分布的编码来编码来自q的message所需要的平均bits数.这里我们可以想象q是一个optimal coder,可以给出对p更好的编码,当然q本身的熵所传达的是最少的bits；从信息传输这个角度来说,交叉熵大概就有这样的含义；

进一步的思考:事实上这个q就是我们在构建的学习模型,我们的目标当然是为了学习目标数据的真实分布,但是当下的目标是学习数据的经验分布也就是学习给定的训练集上分布；因此我们的目标也就是为了让q更接近p；交叉熵此刻就可以这么理解:
我们的目标是使得交叉熵H(p,q)最小,当然是在p给定的情况下；按照之前所说,这里,交叉熵也就表达了如果用我们的模型估计q来描述p的话,他的熵为多少；显然,不会比原本的数据本身固有的熵小,因此,使得交叉熵最小,最终也就是达到了使得q更接近p的目的!

KL散度

关于KL散度的定义,其实很简单了,基本形式为KL(p|q)=H(p,q)−H(p)KL(p|q)=H(p,q)−H(p),其中H(p,q)=∑plog(q)H(p,q)=∑plog(q).H(p)定义如上.


  • KL散度是不对称的也就是KL(p|q) != KL(q|p)
  • 由其表达式可知,KL散度等于交叉熵与原数据熵的差.

从message传输的角度来看,KL散度表达的就是如果使用q的分布的code来描述或者编码从p中取出的数据,所带来的额外bits开销.

关于cross entropy和KL divergence之间的区别与联系

由这两者的表达式可以很清晰的看出两者之间的联系.下面从实际应用的角度来说明一下两者的使用场景的差异(机器学习):
在机器学习的模型优化策略损失函数的选择时,可以使用cross entropy,在这种情况下p是数据的经验分布,因此p是不变的constant；在这种情况下,KL散度中的p是不变的,因此后面的-H(p)的常量,因此,优化这两个目标是等价的. 但是如果p是变化的,那么这两者显然就不一样了.因此在未知p的情况下,想要让q去近似p,可以使用KL度量两个分布之间的距离.作为优化目标.

For Now,以上.

交叉熵Cross Entropy原理与代码实例讲解
AI天才研究院
10-08 583
交叉熵Cross Entropy原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 交叉熵 概率分布 信息熵
交叉熵与KL散度:深入理解与应用实例
chen的博客
05-22 1097
交叉熵是评估实际概率分布与预测概率分布之间的差异的一种方法。在机器学习任务中,我们希望模型的预测概率分布尽可能接近实际的概率分布。交叉熵可以量化这两个分布之间的差异程度。Hpq−∑xpxlog⁡qxHpq−x∑​pxlogqx其中,pxp(x)px是实际分布,qxq(x)qx是预测分布。
从“信息增益”到KL Divergence 和 Cross Entropy
好记性不如烂键盘
10-15 1298
从“信息增益”到KL Divergence 和 Cross Entropy
[转]熵(Entropy),交叉熵(Cross-Entropy),KL-松散度(KL Divergence)
weixin_34235135的博客
04-09 178
https://www.cnblogs.com/silent-stranger/p/7987708.html 1.介绍：       当我们开发一个分类模型的时候，我们的目标是把输入映射到预测的概率上，当我们训练模型的时候就不停地调整参数使得我们预测出来的概率和真是的概率更加接近。       这篇文章我们关注在我们的模型假设这些类都是明确区分的，假设我们是开发一个二分类模型，那么对应于一个...
cross entropy，logistic loss 和 KL-divergence的关系和区别
热门推荐
Adrianna的专栏
07-14 2万+
先给出结论： cross entropy和KL-divergence作为目标函数效果是一样的，从数学上来说相差一个常数。 logistic loss 是cross entropy的一个特例 1. cross entropy和KL-divergence 假设两个概率分布p(x)p(x)p(x)和q(x)q(x)q(x)， H(p,q)H(p,q)H(p,q)为cross entro...
相对熵KL divergence与交叉熵Cross-Entropy
lance～crazy
08-05 336
转载记录一下 交叉熵（Cross-Entropy）
交叉熵cross entropy和相对熵（kl散度）
weixin_34179968的博客
06-27 236
交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量真实分布p与当前训练得到的概率分布q有多么大的差异。 相对熵（relative entropy）就是KL散度（Kullback–Leibler divergence），用于衡量两个概率分布之间的差异。 对于两个概率分布和 ，其相对熵的计算公式为： 注意：由于 和 在公式...
（一文理解）信息量、熵、KL散度、交叉熵及CrossEntropyLoss
这个函数可导的博客
03-26 1128
本文首先重温了一些常见的对数函数运算法则，接着介绍了什么是信息量和熵，然后通过KL散度推出交叉熵损失函数的表达式，最后详解PyTorch常用的交叉熵损失函数CrossEntropyLoss()并进行代码实现。
机器学习----交叉熵(Cross Entropy)如何做损失函数
lmy050813的博客
03-22 6262
损失函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。信息熵的值越小，表示系统的不确定性越低。例如，在机器学习中，相对熵常用于比较真实数据的分布和模型预测的分布之间的差异，以评估模型的性能。它可以用于评估两个模型或概率分布的相似性，比较数据分布的差异，以及在熵最小化的框架下进行优化等。对于回归问题，均方差的损失函数的导数是局部单调的，可以找到最优解。上面说的都是一个样本的时候，多个样本的表达式是:多个样本的概率即联合概率，等于每个的乘积。
交叉熵cross entropy
shuijinghua的博客
02-23 3701
在统计学中,损失函数是一种衡量损失和错误程度的函数.建设某样本的实际输出为a,而预计的输出为y,则y和a之间可能会不一样,存在偏差,深度学习的目的就是通过不断地训练迭代,使得a越来越接近y,即,而训练的本质就是寻找损失函数最小值的过程. 常见的损失函数有两种,一种是均方差函数,另一种是交叉熵函数,对于深度学习而言,交叉熵函数要优于均方差函数,原因在于交叉熵函数配合输出层的激活函数如...
从cross entropy 推导到 KL Divergence
子燕若水的博客
04-09 272
交叉熵的物理意义及简单公式推导
qq_24263553的博客
03-22 3428
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。 若P(x)是数据的真实概率分布，q(x)是由数据计算得到的概率分布。机器学习的目的就是希望q(x)尽可能地逼近甚至等于P(x)。对q(x)的优化就等效于求交叉熵的最小值。另外，对交叉熵求最小值，也等效于求最大似然估计 ...
【基础知识】熵、交叉熵、相对熵(KL散度) 是什么以及它们之间的区别
页页读
03-14 4512
熵（Entropy）和交叉熵（Cross-Entropy）是信息论中的两个基本概念，它们在机器学习、深度学习等领域有着广泛的应用。
对信息量，熵，相对熵，交叉熵的理解
西之可乐的专栏
07-01 1358
这篇文章写得很好https://blog.youkuaiyun.com/tsyccnh/article/details/79163834下面自己做个总结。假设X是一个离散型随机变量，其取值集合为χ,概率分布函数p(x)=Pr(X=x),x∈χ,则定义事件X=x0的信息量为：I(x0)=−log(p(x0))上式有两个含义:1、当事件发生前，表示该事件发生的不确定性；2、当事件发生后，标是该事件所提供的信息量信...
分类损失函数：Log loss，KL-divergence，cross entropy，logistic loss，Focal loss，Hinge loss，Exponential loss
clover_my的博客
07-19 7679
分类损失函数：Log loss，KL-divergence，cross entropy，logistic loss，Focal loss，Hinge loss，Exponential loss 在分类算法中，损失函数通常可以表示成损失项和正则项的和，损失项的表达方式有如下等： 1、Log loss 其中 N 是输入的样本数或者实例的数量，i 是某一个样本或者实例；M 表示样本...
交叉熵【Cross Entropy】与KL散度【Kullback-Leibler Divergence】
薛定谔的猫的博客
11-22 1234
如果说熵是衡量一个随机变量分布内在不确定性的指标，那交叉熵就是衡量两个概率分布（真实分布和预测分布）之间差异的指标。对于给定的真实分布PPP和预测分布QQQ交叉熵HPQ−∑xPxlog⁡QxHPQ−x∑​PxlogQx【e.g.】以分类任务为例。如图所示，一张图像经过神经网络处理，softmax函数处理得到概率分布[0.775, 0.116, 0.039, 0.070] (预测概率分布)这张图像真实对应的类别向量为。
交叉熵（cross entropy）与相对熵（relative entropy，KL divergence）的理解
xhj_enen的博客
02-21 1190
交叉熵(cross entropy) 交叉熵在机器学习中的地位十分重要，常在Logistic回归或者神经网络中作为Loss Function来使用，下面先详细谈一谈交叉熵的定义。 假设现在有关于样本集的两个概率分布p(x)p(x)p(x)和q(x)q(x)q(x)，其中p(x)p(x)p(x)为真实分布，q(x)q(x)q(x)为非真实的分布（可以理解为我们通过该样本集训练得到的分布）。如果我们用...
Entropy（熵）、Cross_Entropy（交叉熵）、KL散度
zhang911007xing的博客
06-18 7381
1. 信息熵 （Entropy） 获得1 bit 的信息可以将不确定性减少一半（也可以说不确定性降低了2倍）。1 bit 的值可能为0或1. 例子： 假设天气情况完全随机，有晴天、雨天两种情况，则是晴天或雨天的概率各为0.5，0.5；那么只需要1 bit () 的信息就可以消除这个不确定性（用0代表晴天，1代表雨天，或者反过来也行）（此时，获取1bit信息，不确定性降低2倍也就是概率乘2，0.5*2=1，变成了确定事件，消除了不确定性） 假设天气情况完全随机，有4种情况，则是每种情况的概率各为0.2
损失函数：CLIP算法的Loss详解 和 交叉熵CrossEntropy实现_clip loss
最新发布
03-11
<think>好的，用户想了解CLIP算法中的损失函数以及如何用交叉熵实现它。首先，我需要回忆一下CLIP的基本原理。CLIP是Contrastive Language-Image Pretraining的缩写，主要目的是将图像和文本映射到同一个嵌入空间，使得配对的图像和文本具有高相似度。损失函数应该是用来衡量这种对齐效果的。 接下来，关于损失函数的具体形式。CLIP使用的是对比损失，可能涉及到两个方向的交叉熵：图像到文本和文本到图像。每个batch中的图像和文本会被编码成嵌入向量，然后计算相似度矩阵。这里的相似度通常用点积或者余弦相似度表示。然后，对每张图像，计算其与所有文本的相似度，使用交叉熵损失让正确配对的文本概率最大化。同样，对每个文本，也计算其与所有图像的相似度，同样使用交叉熵。最终损失是两个方向损失的平均。 然后，如何用交叉熵实现这一点。需要将相似度矩阵视为logits，然后对每个图像和对应的文本标签应用交叉熵损失。可能需要用到矩阵操作，比如对行和列分别计算softmax和交叉熵。PyTorch中的交叉熵函数已经整合了softmax，所以可以直接使用。 用户可能还关心实现细节，比如温度参数的作用，是否需要归一化，以及如何处理大批次的情况。温度参数用来缩放相似度，帮助模型学习更合适的分布。归一化通常指对嵌入向量进行L2归一化，这样点积就等同于余弦相似度，避免数值不稳定。 另外，需要参考提供的引用资料。虽然引用中并没有直接提到CLIP，但引用[2]提到反向传播和神经网络的收敛，可能和损失函数的优化有关。引用[4]讨论误差类型，可能在训练过程中需要考虑不同误差的影响。不过CLIP的具体实现可能不在这些引用范围内，所以回答时需要主要依赖已有的知识，并适当引用相关内容作为补充。 最后，生成相关问题时要围绕CLIP的损失函数、对比学习、温度参数、实现优化等方面展开，确保问题具有连贯性和延伸性，帮助用户深入理解。</think>### CLIP算法中的损失函数及交叉熵实现 CLIP（Contrastive Language-Image Pretraining）通过对比学习实现图像与文本的跨模态对齐，其核心损失函数基于对称交叉熵构建。以下是关键实现步骤： 1. **嵌入向量生成** - 图像编码器输出图像嵌入矩阵 $I \in \mathbb{R}^{N \times d}$ - 文本编码器输出文本嵌入矩阵 $T \in \mathbb{R}^{N \times d}$，其中 $N$ 为批次大小，$d$ 为嵌入维度 2. **相似度矩阵计算** 对嵌入向量进行L2归一化后计算余弦相似度： $$S = I \cdot T^T \quad \text{其中} \quad S_{ij} = \frac{I_i \cdot T_j}{\|I_i\|\|T_j\|}$$ 引入可学习的温度参数 $\tau$ 缩放相似度[^2] 3. **对称交叉熵损失** - **图像到文本方向**： $$\mathcal{L}_{i2t} = -\frac{1}{N}\sum_{i=1}^N \log\frac{\exp(S_{ii}/\tau)}{\sum_{j=1}^N \exp(S_{ij}/\tau)}$$ - **文本到图像方向**： $$\mathcal{L}_{t2i} = -\frac{1}{N}\sum_{i=1}^N \log\frac{\exp(S_{ii}/\tau)}{\sum_{j=1}^N \exp(S_{ji}/\tau)}$$ 最终损失为 $\mathcal{L} = (\mathcal{L}_{i2t} + \mathcal{L}_{t2i})/2$ **PyTorch实现示例**： ```python import torch import torch.nn as nn class CLIPLoss(nn.Module): def __init__(self, temperature=0.07): super().__init__() self.temp = temperature self.cross_entropy = nn.CrossEntropyLoss() def forward(self, image_emb, text_emb): # 归一化嵌入向量 image_emb = nn.functional.normalize(image_emb, dim=-1) text_emb = nn.functional.normalize(text_emb, dim=-1) # 计算相似度矩阵 logits = (image_emb @ text_emb.T) / self.temp # 构建标签（对角线为匹配对） labels = torch.arange(logits.shape[0], device=image_emb.device) # 计算双向损失 loss_i2t = self.cross_entropy(logits, labels) loss_t2i = self.cross_entropy(logits.T, labels) return (loss_i2t + loss_t2i) / 2 ``` 关键实现要点： 1. **温度参数作用**：控制相似度分布的尖锐程度，初始值通常设为0.07 2. **批量负采样**：利用批次内所有非配对样本作为负例[^4] 3. **梯度传播**：通过对称损失确保双编码器的同步优化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值