信息熵

---

---

1. 熵

熵[1]，热力学中表征物质状态的参量之一，用符号 $S$ 表示，其物理意义是体系混乱程度的度量。

 

2. 信息熵

信息量的多少或者大小，该如何描述呢？直到1948年，香农（Shannon）提出了“信息熵[2]”的概念，解决了信息的度量问题。

定义
设 $X$ 是一个随机变量，$p(x)$ 是 $x$ 的概率，且 $x\in X$，则 $X$ 的信息熵为：

$$H(X)=-\sum _{x\in X}p(x)\log p(x)\text{\hspace{1em}(1)}$$

有时也将(1)写作：

$$H(X)=-\sum _{i=1}^{n}p(x_i)\log p(x_i)\text{\hspace{1em}(2)}$$

规定：

$0\log 0=0$。

并且有

$0\le H(X)\le \log n$，$n$ 是取值的种类数。

信息熵的单位：如果以2为底，则熵的单位是比特（bit）；如果以 $e$ 为底，则熵的单位是纳特（nat）；还有一些其他的单位可以通过相互转换得到。
 
由公式(2)可得，随机变量的取值个数越多，状态数也就越多，信息熵也就越大，混乱程度也就越大。
当随机分布为均匀分布时，熵最大。

1. 熵(entropy)是度量信息不确定性的值。
   举个例子，预测明天的天气。
   如果100%能确定明天一定是晴天，那么熵就是 $$H(A)=-1\ast \log 1=0$$
   也就是说不确定为0。
   如果说明天有50%的概率晴天，50%的概率下雨，那么熵就是 $$H(A)=-(\frac{1}{2}\ast \log \frac{1}{2}+\frac{1}{2}\ast \log \frac{1}{2})=-(-\frac{1}{2}-\frac{1}{2})=1$$可以说不确定性为1。
   而如果明天有25%概率晴天，25%概率下雨，25%概率阴天，25%概率下雪，那么熵就是 $$H(A)=-4\ast \frac{1}{4}\ast \log \frac{1}{4}=-4\ast (-\frac{1}{2})=2$$
   也就是说，随着不确定性的增加，熵值也在增加。

2. 熵(entropy)是表示系统所包含的信息量。
   举个例子，如 “$aaBaaaVaaaaa$” 这段字母，信息熵
   $$H(A)=-\frac{5}{6}\ast \log \frac{5}{6}-2\ast \frac{1}{12}\ast \log \frac{1}{12}=0.817$$
   而 “$abBcdeVfhgim$” 这段子母，信息熵
   $$H(A)=-12\ast \frac{1}{12}\ast \log \frac{1}{12}=3.585$$
   显然，第二段字母包含的信息量更大。

对于连续性随机变量，信息熵的公式变为积分公式，

$$H(A)=H(X)=E_{x\sim p(x)}[-\log p(x)]=-\int p(x)\log p(x)dx.$$

 
证明 $0\le H(X)\le \log n$

利用拉格朗日乘子法证明：
因为
$$p(1)+p(2)+\cdots +p(n)=1$$
所以有，
目标函数：
$$f(p(1),p(2),\dots ,p(n))=-(p(1)\log p(1)+p(2)\log p(2)+\cdots +p(n)\log p(n))$$
约束条件：
$$g(p(1),p(2),\dots ,p(n),\lambda )=p(1)+p(2)+\cdots +p(n)-1=0$$

 
1、定义拉格朗日函数：

$$L(p(1),p(2),\dots ,p(n),\lambda )=-(p(1)\log p(1)+p(2)\log p(2)+\cdots +p(n)\log p(n)+\lambda (p(1)+p(2)+\cdots +p(n)-1))$$

2、$L(p(1),p(2),\dots ,p(n),\lambda )$ 分别对 $p(1)$，$p(2)$，$\dots$，$p(n)$，$\lambda$ 求偏导数，令偏导数为0：

$$\begin{array}{rl}\lambda -\log p(1)-1& =0\\ \lambda -\log p(2)-1& =0\\ \dots & \\ \lambda -\log p(n)-1& =0\\ p(1)+p(2)+\cdots +p(n)-1& =0\end{array}$$

3、求出 $p(1)$，$p(2)$，$\dots$，$p(n)$ 的值：

解方程得，

$p(1)=p(2)=\cdots =p(n)=\frac{1}{n}$

代入 $f(p(1),p(2),\dots ,p(n))$ 中，得到目标函数的极值为

$$f(p(1),p(2),\dots ,p(n))=f(\frac{1}{n},\frac{1}{n},\dots ,\frac{1}{n})=-(\frac{1}{n}\log \frac{1}{n}+\frac{1}{n}\log \frac{1}{n}+\cdots +\frac{1}{n}\log \frac{1}{n})=-n\frac{1}{n}\log \frac{1}{n}=-\log \frac{1}{n}=\log n$$

的证。

---

3. 参考文章：

1. 百度百科：熵
2. 百度百科：信息熵
3. 信息熵及其相关概念

---