KL散度与交叉熵概念辨析

 KL散度

深度学习中，常用KL散度衡量两个数据分布之间的差异，KL散度越小，则表示两个数据分布之间的差异越小。一般以 P(x) 表示样本的真实分布，Q(x)作为模型预测的分布。例如，在一个三分类任务中，x1，x2，x3分别表示猫、狗和马。若一张猫的图片的真实分布P(x)=[1,0,0]，而预测分布为Q(x)=[0.7,0.2,0.1]，则对应的KL散度计算如下：

 交叉熵

在介绍交叉熵之前，首先补充一下以下重要概念：

• 信息量

设某一事件发生的概率为P(x)，则其信息量表示为：

信息量是衡量一个事件发生的不确定性，大小与事件发生的概率呈反比，一个事件发生的概率越大，那么其不确定也就越小，即信息量越小。

• 熵

信息量的期望叫做熵。熵在化学中也是描述混乱程度(不确定性)的一个指标，在计算机领域含义