Milanien的博客

之前讨论了一个事件的自信息量，但是实际情况下往往有多个事件发生，而且这些事件之间相互是有联系的。也就是说，我们可以通过一个事件获得另外一个事件的信息，或者说，消除另外一个事件的不确定性。这个式子可以从系统的整体来看，系统的信息量的变化等于事件A的自信息量加上事件B的自信息量减去事件A和事件B同时发生的信息量。考虑事件A和事件B，它们发生的概率分别是P(a)和P(b)。上式表明了事件A从事件B中获得的信息量与事件B从事件A中获得的信息量是相同的，交互信息量是对称的。，该式子等于事件B从事件A中获得的信息量。

信息熵及其性质

发生概率为10^-6的事件信息量为10^6-1，而发生概率为10^6的事件信息量为10^-6-1，相差12个量级。而且这种方式也满足了当概率为1，信息量为0的条件。如果以10为底的话，那么发生概率为10^-6的事件信息量为6哈特，而发生概率为10^6的事件信息量为-6哈特。可以把2，e或者10作为底，那么信息量的单位分别为比特，奈特，哈特。直觉上看，一件事情发生的概率越小，消除的不确定性越多，信息量越大。反之，一件事情发生的概率越大，信息量越小，比如1+1=2，没有消除任何不确定性，因此信息量为0。