cross-entropy

ippputeeel

于 2018-07-21 12:06:19 发布

阅读量793

点赞数

分类专栏： deeplearning

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_40485472/article/details/81131446

版权

deeplearning 专栏收录该内容

4 篇文章

订阅专栏

本文深入探讨交叉熵的概念，首先介绍了信息熵和KL散度，阐述它们在衡量不确定性及分布差异中的作用。接着，揭示了交叉熵与信息熵、KL散度的数学关系，并解释了为何在分类问题中，交叉熵常被用作损失函数。在二分类问题中，交叉熵特别适用于评估模型预测与真实标签的匹配程度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.交叉熵的定义

$H(p,q)=-\sum_{i=0}^np(x_i)\log q(x_i)$

2.交叉熵与信息熵、KL散度的关系

信息熵是用来衡量不确定性的。

信息量的定义：不确定性越大，所包含的信息量越大；不确定性越小，所包含的信息量

定义： $\chi$ 为一个随机分布， $p(x)=P(\chi =x)$ ,当 $x=x_0$ 时，所包含的信息量为 $I(x_0)=-\log p(x_0)$

根据概率分布的性质， $p(x_0) \subset [0,1]$ ,所以 $I(x_0) \geq 0$ , 当且仅当 $p(x_0)=1$ 时， $I(x_0)=0$ ；且 $p(x_0)$ 越大， $I(x_0)$ 越小

信息熵可以看作是一个概率分布信息量的期望， $H(p) = \sum_\chi p(x = x_i)I(x_i) = - \sum_\chi p(x_i)\log p(x_i)$

KL散度（相对熵）是用来衡量两个分布之间的差异，也可以认为是从分布p到到分布q信息增益的期望值：

$KL(p||q)=\sum p_i \log \frac{p_i}{q_i}=E_p \log \frac{p_i}{q_i}$

可以证明 $KL(P||Q) \geq 0$ :（需要用到对数和不等式）

$KL(p||q)=E_p(\log \frac{p}{q})=-E_p(\log \frac{q}{p}) \geq - \log(\sum_\chi p \frac{q}{p}) = -\log(\sum q) = 0$

当两个分布完全相同时，KL散度为0；两个分布越相近，KL散度越小。

并且KL散度是不对称的，可以认为是参照系的差别。

根据KL散度的定义可以推导出交叉熵、信息熵以及KL散度三者的关系，将KL散度的定义展开：

$KL(p||q)=\sum_\chi p(x) \log \frac{p_x}{q_x} = \sum_\chi p(x)\log p(x) - \sum_\chi p(x) \log q(x)=-H(p)+H(p,q)$

分解之后，第一项就是负的信息熵，后面一项就是p,q的交叉熵

用分布Q去拟合分布P时，P的信息熵不变，因此交叉熵与KL散度等价，所以可以用交叉熵来衡量P、Q的差异

3.使用交叉熵为LOSS FUNCTION

在分类问题中经常使用交叉熵作为Loss Function，在分类问题中，可以把需要拟合的数据 $\chi$ 看作是多项贝努力分布

对于一个数据:

$Loss=-\sum_{i \in c} p(x=i) \log \hat{p}(x=i)$

其中 $c$ 为类别的集合；

在二分类问题中，数据可以看成一个标准的贝努力分布（01分布）

$Loss=-\sum_{i \in c} p(x=i) \log \hat{p}(x=i) = -(p\log (\hat{p})+(1-p)\log (1-\hat{p}))$

如果 $\hat{y}$ 是softmax或者sigmoid出来的结果

$Loss=-(y\log \hat{y} + (1-y) \log (1-\hat{y}))$

在训练时，每一次只计算了ground truth类对应的label，没有训练其他的类。

4.交叉熵与最大似然

Loss Function List：

http://christopher5106.github.io/deep/learning/2016/09/16/about-loss-functions-multinomial-logistic-logarithm-cross-entropy-square-errors-euclidian-absolute-frobenius-hinge.html

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。