熵，交叉熵，相对熵（KL散度）

先插入一个链接可视化信息论，简单明了很容易看懂

什么是信息熵

信息熵是度量随机变量不确定度的指标，信息熵越大意味着随机变量不确定度越高，意味着系统的有序程度越低。他的定义
如果随机变量$P=\{x_1,x_2,...,x_n\}$,他的概率$P\{P=x_i\},i\in \{1,2,..,n\}$，则随机变量$P=\{x_1,x_2,...,x_n\}$的熵定义为

$$H\left( P\right)=-\sum_{i=1}^n p(x_i)log_2 p(x_i)$$

什么是交叉熵

交叉熵（Cross Entropy），主要用于度量两个概率分布间的差异性信息。对一个离散随机变量的两个概率分布P和Q来说，他们的交叉熵定义为：

H(P,Q)=−∑i=1