信息量和互信息

记录学习分享

理解信息量
https://blog.youkuaiyun.com/tsyccnh/article/details/79163834

• 自信息量：
  -I(x_i) = -log( P(x_i) )
• 信息熵：(自信息量的期望）
  H(X) = -∑P(x_i) * log( P(x_i) )
• 条件熵：（条件信息量的期望。前边是xi和yj同时发生的概率，就是求期望）
  H(X|Y) = -∑P(xi, yj) * log( P(xi | yj) )
• 联合熵：
  H(X, Y) = -∑P(xi, yj) * log( P(xi , yj) )
• 互信息：
  (互信息= 先验不确定性H(X) – 后验不确定性H(X|Y) = 不确定性减少量)
  I(X;Y) = H(X)-H(X|Y) = H(Y)-H(Y|X) = H(X) + H(Y) – H(X,Y)

互信息公式这么定义的含义：
理解1：原来我对X有些不确定，不确定性为H(X)，告诉我Y后我对X不确定性变为H(X|Y), 这个不确定性的减少量就是X,Y之间的互信息I(X;Y)=H(X)-H(X|Y)。

参考 https://www.zhihu.com/question/24059517

理解2：X,Y的信息熵之和H(X)+H(Y)，减去其X,Y同时发生的联合信息熵H(X,Y)，如果为0，说明X,Y相互独立、不相关；如果不为0，差值部分就是由于X、Y相关性带来的信息量消减，也就是互信息。

互信息的推导：

第三等式推导第四等式：