10.2 香农熵、相对熵（KL散度）与交叉熵

香农熵（Shannon entropy）

信息熵（又叫香农熵）反映了一个系统的无序化（有序化）程度，一个系统越有序，信息熵就越低，反之就越高。
如果一个随机变量$X$的可能取值为$X=\left\{x_1,x_2,…,x_n\right\}$，对应的概率为$p(X=x_i)$，则随机变量$X$的信息熵为：

$$H(X)=-\sum_{i=1}^np(x_i)\mathbb{log}p(x_i)$$

相对熵（relative entropy）

所谓相对，自然在两个随机变量之间，又称互熵，Kullback–Leibler divergence（K-L 散度）等。