互信息是衡量两个事件集合相关性的重要概念，它克服了互信息量的随机性，成为确定的量。从不同角度理解互信息：1) 输出端，表示收到信息后对输入的不确定度减少；2) 输入端，表示发出信息后对输出的不确定度；3) 通信系统整体立场，表示通信前后系统不确定度的减少。平均互信息量具有对称性、非负性、极值性、凸函数性等性质，并遵循数据处理定理，即信息在处理过程中不会增加。
互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。
平均互信息量定义:
互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。
平均互信息量的物理含义
1） 观察者站在输出端：
H(X/Y) —信道疑义度/损失熵.。Y关于X的后验不确定度。表示收到变量Y后,对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。
H(X) —X的先验不确定度/无条件熵。
I(X;Y)—收到Y前后关于</
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
