机器学习 | 交叉熵

为分类任务中，常用交叉熵来刻画损失函数，为什么可以这样使用呢？下面将一步步的揭开面纱。

1、数学背景

定义：在信息论中，交叉熵是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，用非真实分布q来表示某个事件发生所需要的平均比特数。从这个定义中，我们很难理解交叉熵的定义。下面举个例子来描述一下。

假设现在有一个样本集中两个概率分布p,q，其中p为真实分布，q为非真实分布。假如，按照真实分布p来衡量识别一个样本所需要的编码长度的期望为：

$$H(p) = \sum p(i) * log(\frac{1}{p(i)})$$

但是，如果采用