机器学习进阶（4）：熵，联合熵，条件熵，互信息的推导和联系

前言

机器学习领域有一个十分重要的概念：熵。大家或多或少都听过一些熵的概念和定义，但是可能对他们的关系不是很清楚，本文就熵，联合熵，条件熵，互信息的推导展开介绍。

熵

$$H(X)=-\sum _{x\epsilon X}P(x)\log P(x)$$

联合熵

$$H(X,Y)=-\sum _{x,y}p(x,y)\log p(x,y)$$

条件熵

$$\mathrm{H}(\mathrm{X}\mid \mathrm{Y})=\mathrm{H}(\mathrm{X},\mathrm{Y})-\mathrm{H}(\mathrm{Y})$$

推导：
$$\begin{gathered} H(X,Y)-H(X) \\ =-\sum _{x,y}p(x,y)\log p(x,y)+\sum _{x}p(x)\log p(x) \\ =-\sum _{x,y}p(x,y)\log p(x,y)+\sum _x\left(\sum _{y}p(x,y)\right)\log p(x) \\ =-\sum _{x,y}p(x,y)\log p(x,y)+\sum _{x,y}p(x,y)\log p(x) \\ =-\sum _{x,y}p(x,y)\log \frac{p(x,y)}{p(x)} \end{gathered}$$
但是上述推导的最后一项显得并不直观，可能有人会疑惑为什么是$p(x,y)$，而不是$p(y\mid x)$。我们便从另一个角度来推导：

$$\begin{gathered} H(X,Y)-H(X)=-\sum _{x,y}p(x,y)\log p(y\mid x) \\ =-\sum _x\sum _{y}p(x,y)\log p(y\mid x) \\ =-\sum _x\sum _{y}p(x)p(y\mid x)\log p(y\mid x) \\ =-\sum _{x}p(x)\sum _{y}p(y\mid x)\log p(y\mid x) \\ =\sum _{x}p(x)\left(-\sum _{y}p(y\mid x)\log p(y\mid x)\right) \\ =\sum _{x}p(x)H(Y\mid X=x) \end{gathered}$$
简单理解就是给一个x的定值，但并不是整个变量都满足这个表达。

互信息

直接求KL散度：
$$\mathrm{I}(\mathrm{X},\mathrm{Y})=\mathrm{D}\left((\mathrm{P}(\mathrm{X},\mathrm{Y})||\mathrm{P}(\mathrm{X})\mathrm{P}(\mathrm{Y})\right)$$

$$I(X,Y)=\sum _{x,y}p(x,y)\log \frac{p\left(x,y\right)}{p(x)p(y)}$$
如果独立的话，最后一项为1，整个值就为0。只要大于0，说明不是完全独立的。
$$\begin{gathered} H(Y)-I(X,Y) \\ =-\sum _{y}p(y)\log p(y)-\sum _{x,y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)} \\ =-\sum _y\left(\sum _{x}p(x,y)\right)\log p(y)-\sum _{x,y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)} \\ =-\sum _{x,y}p(x,y)\log p(y)-\sum _{x,y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)} \\ =-\sum _{x,y}p(x,y)\log \frac{p(x,y)}{p(x)} \\ =-\sum _{x,y}p(x,y)\log p(y\mid x) \\ =H(Y\mid X) \end{gathered}$$

几种熵之间的关系

推论1：
$$\mathrm{H}(\mathrm{X}\mid \mathrm{Y})=\mathrm{H}(\mathrm{X},\mathrm{Y})-\mathrm{H}(\mathrm{Y})$$
推论2：
$$\mathrm{H}(\mathrm{X}\mid \mathrm{Y})=\mathrm{H}(\mathrm{X})-\mathrm{I}(\mathrm{X},\mathrm{Y})$$
推论3：
$$\mathrm{I}(\mathrm{X},\mathrm{Y})=\mathrm{H}(\mathrm{X})+\mathrm{H}(\mathrm{Y})-\mathrm{H}(\mathrm{X},\mathrm{Y})$$
直接上图：