【信息论基础第三讲】再谈离散信源的信息测度之熵的性质多符号信源的信息测度

一、Piece Of Cake

1、离散信源X的熵是H(X)是一个常数而不是一个变量

解释：离散信源的熵也就是自信息I(X)的数学期望，即H(X) = E[I(Xi)]，而通过概率论的知识我们知道数学期望是一个常数，故熵也是一个常数。

2、八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率是6000bit/s

解释：

3、离散信源X服从等概分布时熵最大。

解释一：从信息熵的定义式的角度出发

解释二：从熵朴素的物理意义来看

依稀记得高中物理学习热学时第一次接触熵的概念，当时理解的是分子不规则运动的混乱程度，在信息熵来看，我们可以类比为信源输出前信源的输出的平均不确定度，而什么样的信源最不确定，当然是输出什么的概率都一样（信源服从等概分布），没有任何概率大小的偏袒，此时熵最大。

4、H(XY) =< H(X) + H(Y)

解释：用维拉图表示直观形象

二、熵的性质

 

1、非负性

解释：

 

2、对称性

解释：

信源的熵只与概率空间的总体结构有关，而与各个概率分量对应的状态顺序无关。

试想各个概率分量组成了概率空间，我们用信源熵来刻画概率空间的不确定度，每个概率向量就好像分子，当然可以运动，发生运动意味着状态顺序发生了变化，但是整体信源的平均不确定度还是不变的，重点把握平均的概念。 

3、确定性

当信源空间中任一概率分量等于1，相当于是这一个概率分量占满了整个space空间，自然其他的概率分量必为0，这个时候信源空间一点也不混乱，完全确定就是这个概率分量为1，对应的熵为0，信源也就成为了一个确知信源。

4、扩展性

 解释：信源空间中增加某些概率很小的符号，其概率接近于0，就好比分子等级的信源空间加入了原子等级的不确定度微小到可以忽略，自然整个信源空间的熵还是由分子等级那些不确定度主导，近似的信源熵视为不变。

5、可加性

 

 解释一：维拉图（以X、Y不相互独立为例）

 

解释二：定义证明

同理： 

 

6、极值性

信源X中包含着K个不同离散消息时，熵H(X) <= logK，当且仅当X中各个消息出现概率相等时等号成立。即等概信源的不确定性最大，具有最大熵。关于类比熵通俗的解释同前面。

基本不等式：

 基本不等式推广：

上凸函数：

 

下凸函数：

7、唯一性

存在这样的不确定性度量，它是概率分布p1,p2,p3...pk的函数f(p1,p2,...pk)，且该函数应满足：对称性，极值性，可加性，扩展性，它的形式是唯一的。

三、多符号信源的信息测度

1、离散无记忆信源

2、离散有记忆信源

（1）实例引入

 

发现信源信息熵H(X)比平均符号熵要大，可以有两种解释方式，一种是代数解释：

另一种是意义解释：

因为信源是有记忆的，所以平均符号熵意味着符号之间具有着关联性，这时我们再看信息熵的意义，因为符号之间有关联度，即表示的信息不确定度就小了，自然小于信源的信息熵。

（2）离散信源的序列熵和极限熵

（3）离散有记忆信源的特点