【信息论基础第三讲】再谈离散信源的信息测度之熵的性质多符号信源的信息测度

一、Piece Of Cake

1、离散信源X的熵是H(X)是一个常数而不是一个变量

解释：离散信源的熵也就是自信息I(X)的数学期望，即H(X) = E[I(Xi)]，而通过概率论的知识我们知道数学期望是一个常数，故熵也是一个常数。

2、八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率是6000bit/s

解释：

3、离散信源X服从等概分布时熵最大。

解释一：从信息熵的定义式的角度出发

解释二：从熵朴素的物理意义来看

依稀记得高中物理学习热学时第一次接触熵的概念，当时理解的是分子不规则运动的混乱程度，在信息熵来看，我们可以类比为信源输出前信源的输出的平均不确定度，而什么样的信源最不确定，当然是输出什么的概率都一样（信源服从等概分布），没有任何概率大小的偏袒，此时熵最大。

4、H(XY) =< H(X) + H(Y)

解释：用维拉图表示直观形象

二、熵的性质

 

1、非负性

解释：

 

2、对称性