【信息论基础第四讲】信息的流动——平均互信息及其性质

一、平均互信息与互信息

1、互信息

互信息量表示接收到消息yj后，获得关于事件xi的信息量。

2、 从熵的角度来定义平均互信息量：

 从信源X熵H(X)到信宿熵H(X|Y)熵减少了，同时为信宿Y提供了信息量，而信息从信源到信宿的变化是流经信道造成的，因此平均自信息又可以理解为流经信道的信息量。

3、从数学表达式角度定义平均互信息量：

4、从互信息的角度定义平均互信息量 

平均互信息是互信息的期望。特备注意小写的xy是互信息，大写的XY是平均互信息。