cross_entropy交叉熵、相对熵

1.熵用来表示所有信息量的期望。
2.相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异。
3.交叉熵：
相对熵=p的熵+交叉熵。
在机器学习中，我们需要评估label和predicts之间的差距，使用KL散度刚刚好。由于KL散度中的前一部分恰巧就是p的熵，p代表label或者叫groundtruth，故−H(p(x))不变，故在优化过程中，只需要关注交叉熵就可以了，所以一般在机器学习中直接用用交叉熵做loss，评估模型。