理解信息熵

什么是信息熵？信息的作用是消除人们对事物的不确定性，而信息熵则是对信息这一作用的一种定量表示。信息熵由香农（Claude E. Shannon）提出，其计算公式为：

H(x) = -∑(p(xi)log(2,p(xi))) (i=1,2,..,n)，

其中，x表示信息，xi (i=1,2,..,n)表示x的各种可能取值，p(xi)表示x取值为xi的概率。

为了更好地理解信息熵，考虑下面的例子。

情况一 Bob喜欢Lily，在两人交往过程中Lily也向Bob表示好感，Bob虽然不确定Lily是否喜欢自己，但是有理由认为Lily十有八九也是喜欢自己的。然后，Lily将自己喜欢或不喜欢Bob的想法告诉了她的朋友Lucy。这样，Bob就可以从Lucy处获得Lily是否喜欢自己的信息。

情况二 与情况一类似，Bob喜欢Lily，但由于两人交往时间较短，Bob完全不确定Lily是否也喜欢自己。同样地，Lily随后将自己喜欢或不喜欢Bob的想法告诉了她的朋友Lucy。这样，Bob就可以从Lucy处获得Lily是否喜欢自己的信息。

比较在这两种情况中Bob从Lucy处获得的信息，哪一种情况的信息量更大？常识告诉我们情况二的信息量更大。下面我们分别计算两种情况的信息熵，通过比较信息熵的大小来验证这一常识。

H(情况一的信息) = -( p(喜欢)log(2,p(喜欢)) + p(不喜欢)log(2,p(不喜欢)) ) = -( 8.5/10 * log(2,8.5/10) + 1.5/10 * log(2,1.5/10) ) = 0.61

H(情况二的信息) = -( p(喜欢)log(2,p(喜欢)) + p(不喜欢)log(2,p(不喜欢)) ) = -( 5/10 * log(2,5/10) + 5/10 * log(2,5/10) ) = 1.00

情况二的信息的信息熵大于情况一的信息的信息熵，可见信息熵是能够反映常识的。

最后总结：越是具有普遍性的信息其信息量越小。