熵、信息熵、交叉熵详解

0 前言

信息论（ Information Theory） 是数学、 物理、 统计、 计算机科学等多个学科的交叉领域。 信息论是由克劳德· 香农最早提出的， 主要研究信息的量化、存储和通信等方法．这里，“信息” 是指一组消息的集合。 假设在一个噪声通道上发送消息， 我们需要考虑如何对每一个信息进行编码、 传输以及解码， 使得接收者可以尽可能准确地重构出消息。

在机器学习相关领域， 信息论也有着大量的应用，比如特征抽取、 统计推断、自然语言处理等。

1 熵

熵（ Entropy） 最早是物理学的概念， 用于表示一个热力学系统的无序程度。在信息论中， 熵用来衡量一个随机事件的不确定性。

1.1 自信息和熵

==自信息（ Self Information） ==表示一个随机事件所包含的信息量。 一个随机
事件发生的概率越高， 其自信息越低． 如果一个事件必然发生， 其自信息为0。

对于一个随机变量 $X$（ 取值集合为 $\chi$， 概率分布为$p(x)$, $x\in \chi$）， 当$X=x$时的自信息$I(x)$定义为:

$$I(x)=-\log p(x)$$

在自信息的定义中， 对数的底可以使用 2、 自然常数 𝑒 或是 10。当底为 2 时，自信息的单位为bit；当底为𝑒时， 自信息的单位为nat。

对于分布为$p(x)$的随机变量SXS， 其自信息的数学期望$E_X[I(X)]$， 也就是X的熵，记作$H(X)$:

$$\begin{array}{rl}H(x)& =E_x[I(X)]\\ & =E_X[-\log p(x)]\\ & =-\sum _{x\in \chi }p(x)\log p(x)\end{array}$$

其中，当$p(x_i)=0$时，定义$0\log 0=0$，因为${\lim }_{p\to 0^{+}}p\log p=0$。

熵越高， 则随机变量的信息越多； 熵越低， 则随机变量的信息越少。 如果变量
$X$ 当且仅当在$x$时, $p(X=x)=1$， 则熵为 0． 也就是说， 对于一个确定的信息， 其熵为0， 信息量也为0。 如果其概率分布为一个均匀分布， 则熵最大。

• 假设随机变量