本文深入探讨了信息论中的三个核心概念：熵、相对熵（即KL散度）与交叉熵。熵衡量了随机变量的不确定性，相对熵比较了两个概率分布的差异，而交叉熵用于评估两个概率分布之间的差异性信息。了解这些概念对于理解机器学习和数据科学中的损失函数至关重要。
如果一个随机变量XX的可能取值为X={x1,x2,…,xn}X={x1,x2,…,xn}，对应的概率为p(X=xi)(i=1,2,…,n)p(X=xi)(i=1,2,…,n)，则随机变量的熵定义为
相对熵
相对熵又称Kullback-Leible散度（即KL散度）。
设p(x)和q(x)是取值的两个概率概率分布，则p对q的相对熵为
交叉熵
交叉熵（Cross Entropy），主要用于度量两个概率分布间的差异性信息。对一个离散随机变量的两个概率分布P和Q来说，他们的交叉熵定义为：
可以看出它和相对熵的差别和联系：
扫一扫
04-03
1184
1184
11-21
03-21
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
