熵，相对熵和互信息

$\textbf{1.熵.}\color{red}{熵}$表示随机变量不确定度的度量。也是平均意义上描述随机变量所需要信息量的度量。一个离散型随机变量的熵H(X)定义为：

$$H(X)=-\sum_{x \in X} p(x)log p(x)$$
对数的底数通常为2，熵的单位是比特，同时也可以是e来表示。用统计学来解释就是函数 $g(x)=log{\frac {1}{p(x)}}$关于密度函数p(x)的期望
$$E_p(g(x))=H(X)$$
$\textbf{2.联合熵与条件熵.}$对于服从联合分布为 $p(x,y)$的一对离散随机变量 $(X,Y)$,其 $\color{red}{联合熵}H(X,Y)$的定义为
$$H(X,Y)=-\sum_{x \in {X}}\sum_{y \in {Y}}p(x,y) log p(x,y)$$
相似的， $\color{red}{条件熵}$为

H(Y