【信息论与编码 沈连丰】第二章：信息的度量

2.1 度量信息的基本思路

1. 单符号离散信源：如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。

2. 信源空间：若信源的输出是随机事件X，其出现概率为P(X)，则它们所构成的集合，称为信源的概率空间或简称为信源空间。信源空间必定是一个完备集，即$\sum _{i=0}^{n}p(x_i)=1$

3. 若信源中事件$x_i$的出现所带来的信息量用$I(x_i)$来表示并称之为事件$x_i$的自信息量，则概率为$p(x_i)$的信源输出$x_i$所包含的信息量$I(x_i)$必须满足以下几个条件：

   1. 信源输出$x_i$所包含的信息量仅依赖于它的概率，而与它的取值无关
   2. $I(x_i)$是$p(x_i)$的连续函数
   3. $I(x_i)$是$p(x_i)$的减函数，即如果$p(x_i)>p(x_j),I(x_i)<I(x_j)$；极限情况：若$p(x)=0,I(x_i)\to \infty$；若$p(x)=1,I(x_i)=0$
   4. 若两个单符号离散信源（符号集合X，Y）统计独立，则X中出现$x_i$，Y中出现$y_i$的联合信息量$I(x_i,y_i)=I(x_i)+I(y_i)$

   只有对数函数能够同时满足以上4个条件。

4. 自信息量：$x_i$的自信息量是指$x_i$具备的不确定性，或者说收到符号$x_i$后获得的信息量。

   $I(x_i)=log(\frac{1}{p(x_i)})=-log(p(x_i))$

   $I(x_i)$实质上是无量纲的，为了研究方便，根据对数的底数来定义信息量的量纲：底数取2，信息量单位为比特（bit）；取自然对数e，信息量单位为奈特（nat）；取10，单位为哈特（Hart）；由换底公式可得，$1nat\approx 1.44bit;1Hart\approx 3.32bi$

   

   

5. 自信息量和不确定度的关系：自信息量是针对随机事件发生时所带来的信息量，只有随机事件发生时才产生，不发生没有，它是一个动态概念；不确定度只与事件的概率有关，是一个统计量，在静态状态下也存在。

6. 注意自信息量$I(x_i)$只能表示信源发出的某一具体符号$x_i$的自信息量，而信源空间具有多个符号且概率不一定相等，因此$I(x_i)$不能作为整个信源的总体信息测度。因此作为信源总体信息测度的量应该是信源各个不同符号的自信息量的统计平均值。

2.2 信源熵和条件熵

1. 信源熵：若信源符号$x_i$的出现概率为$p(x_i)$，自信息量为$I(x_i)(i=1,2,\cdots ,N)$，则$H(X)=\sum _{i=1}^{N}p(x_i)I(x_i)=\sum _{X}p(x_i)I(x_i)=-\sum _{X}p(x_i)\log p(x_i)$，称为信源的信息熵，即信源熵，定义$0\log 0=0$

   

2. 信源熵只与信源符号的概率分布有关，是一种先验熵；对于单符号离散信源，信源熵是信源每发一个符号所提供的平均信息量，量纲为 信息单位/信源符号；对于任何给定概率分布的信源，H(X)是一个确定数，其大小代表了信源每发出一个符号给出的平均信息量。

3. 条件自信息量：设在$y_i$条件下，随机事件$x_i$的条件概率为$p(x_i|y_i)$，则$x_i$出现带来的信息量称为它的条件自信息量，记为$I(x_i|y_i)=-\log p(x_i|y_i)$

   

4. 条件熵：在给定y条件下X集合的总体信息量度，即为给定y条件下X的条件熵，记为$H(X|y)=\sum _{X}p(x|y)I(x|y)=-\sum _{X}p(x|y)\log p(x|y)$

   考虑到整个Y集合，则

   $H(X|Y)=\sum _{Y}p(y)H(X|y)=-\sum _{XY}p(y)p(x|y)\log p(x|y)=-\sum _{XY}p(xy)\log p(x|y)$

2.3 互信息量和平均互信息量

1. 互信息量：对两个离散随机事件集合X和Y，事件$y_i$的出现给出关于事件$x_i$的信息量，定义为事件$x_i,y_i$的互信息量，用$I(x_i;y_i)$表示

2. 假设X是信源发出的消息集合，Y是X经过信道后信宿收到的消息集合

   1. 在信道没有干扰情况下，即信源信息通过信道全部流向信宿，有$I(x_i;y_j)=I(x_i)$
   2. 当信道存在干扰时，信宿收到的信息就掺杂了信道的一些信息，因此$I(x_i;y_j)=I(x_i)-I(x_i|y_j)$，则$I(x_i;y_j)=\log \frac{p(x_i|y_j)}{p(x_i)}$

3. 互信息量的性质：

   1. 对称性：$I(x_i;y_j)=I(y_j;x_i)$
   2. 值域为实数：互信息量的值可为正数、负数或零，取决于后验概率和先验概率的比值
      1. $p(x_i|y_j)=1,I(x_i;y_j)=I(x_i)$，说明收到$y_j$后可以完全消除对信源是否发$x_i$的不确定度，物理含义是信宿收到了信源发出的全部信息量，也即信道没有干扰
      2. $p(x_i)<p(x_i|y_j)<1,I(x_i;y_j)>0,I(x_i)>I(x_i|y_j)$，说明收到$y_j$可以消除一些对信源是否发$x_i$的不确定度
      3. $p(x_i)=p(x_i|y_j),I(x_i;y_j)=0,I(x_i)=I(x_i|y_j)$，说明收到$y_j$一点也不能消除对信源是否发$x_i$的不确定度
      4. $0<p(x_i|y_j)<p(x_i),I(x_i;y_j)<0,I(x_i)<I(x_i|y_j)$，说明收到$y_j$后对信源是否发$x_i$的不确定度比$x_i$在信源空间的概率还小，说明在信息流通过程中流通的不是关于$x_i$的信息量，而是$x_i$以外的事件的信息量
   3. I ( x i ; y j ) ≤ m i n { I ( x i ) , I ( y j ) } I(x_i;y_j)\leq min\{I(x_i),I(y_j)\} I(xi​;yj​)≤min{I(xi​),I(yj​)}，这条性质说明互信息量是描述信息流通特征的物理量，流通量的数值当然要比任一事件的自信息量要小。

4. 条件互信息量：$I(x_i;y_j|z_k)$是指在给定$z_k$条件下，事件$y_j$的出现所提供的有关$x_i$的信息量；或者说给定$z_k$条件下，$x_i和y_j$的互信息量。

   $I(x_i;y_j|z_k)=\log \frac{p(x_i|y_j{z}_k)}{p(x_i|z_k)}$

   $I(x_i;y_j|z_k)=\log \frac{p(x_i|y_j{z}_k)}{p(x_i|z_k)}=\log \frac{1}{p(x_i|z_k)}-\log \frac{1}{p(x_i|y_j{z}_k)}=I(x_i|z_k)-I(x_i|y_j{z}_k)$，即条件互信息量可以用条件信息量来表示

5. 平均互信息量：两个离散随机事件集合X和Y，若其任意两事件间的互信息量为$I(x_i;y_j)$，则其联合概率加权的统计平均值，称为两集合的平均互信息量，用$I(X;Y)$表示。
   $$\begin{gathered} 当信宿收到某一个具有符号y_j后，从y_j中获取关于输入符号的平均信息量，应该等于在条件概率空间中的统计平均，用I(X;y_j)表示 \\ 即：I(X;y_j)=\sum _{i=1}^{N}p(x_i|y_j)I(x_i;y_j)=\sum _{X}p(x|y_j)I(x;y_j) \\ 再对其在集合Y中取统计平均，即 \\ I(X;Y)=\sum _{j=1}^{M}p(y_j)I(X;y_j)=\sum _{i=1}^N\sum _{j=1}^{M}p(y_j)p(x_i|y_j)I(x_i{y}_j)=\sum _{XY}p(xy)\frac{p(x|y)}{p(x)}=\sum _{XY}p(xy)I(x;y) \end{gathered}$$

6. 平均互信息量的性质：

   1. 对称性：$I(X;Y)=I(Y;X)$

   2. 结论：

      • $I(X;Y)=H(X)-H(X|Y)$：表明信道存在干扰和噪声时，到达接收端的平均信息量等于信源熵减去一个条件熵，这个条件熵表征了对接收的每一个符号的正确性所产生的怀疑程度，即称条件熵$H(X|Y)$为疑义度。

      • $I(Y;X)=H(Y)-H(Y|X)$：表明信道存在干扰和噪声时，到达接收端的平均信息量等于信宿熵减去一个条件熵，这个条件熵是信道给出的，是唯一地能确定信道噪声和干扰所需的平均信息量，即$H(Y|X)$称为噪声熵，也称散布度。

      • $I(X;Y)=H(X)+H(Y)-H(X,Y)$；H(X,Y)表示X和Y的联合熵：$H(X,Y)={\sum }_{XY}p(xy)I(xy)$

      • $H(X,Y)=H(X)+H(Y|X)$

      • $H(X,Y)=H(Y)+H(X|Y)$

      • 平均互信息量是一个非负数

        

      

      

      

      

7. Jensen不等式：如果 f 是上凸函数，即二阶导数为负，X为随机变量，则有$E[f(x)]\le f[E(x)]$

8. 相对熵：若x有两种分布$p(x),q(x)$，则$D(p||q)=\sum _{X}p(x)\log p(x)-\sum _{X}p(x)\log q(x)=\sum _{X}p(x)\log \frac{p(x)}{q(x)}$，也称为两种分布的KL散度，或者KL距离。

9. 熵的链式法则：

   

10. 熵的边界：

    

    

11. 马尔科夫链：对于3个随机变量空间X,Y,Z，如果Z的条件分布仅仅取决于Y而与X的条件无关，那么称随机变量X,Y,Z构成了马尔科夫链，即$p(x,y,z)=p(x)p(y|x)p(z|y)$，用$X\to Y\to Z$表示。

12. 马尔科夫链性质：