数学之美--信息的度量和作用--信息熵，条件熵和交叉熵

保留初心，砥砺前行

这一章节讲解的是关于信息的某些度量。

我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。……直到1948年，Shannon在他著名的论文“通信的数学原理”中提出了“信息熵”的概念，才解决了信息的度量问题，并且量化出信息的作用。

• 信息熵

  首先，我们可以记住的是，信息熵一般使用符号H来表示，单位是比特。接下来，看一个书中给出的例子：
  当我错过了上一届世界杯的比赛，而想知道谁夺得冠军时，我询问一个知道比赛结果的观众。但是他并不愿意直接告诉我，而是让我猜测，每猜一次他要收费1元来告诉我，我的猜测是否正确。那么我要花多少钱才能知道谁是冠军呢？
  我可以把球队编号，1到32号（当然大家都知道世界杯是32支球队，然而过几年变成48支的时候我会回来修改的）然后我提问：“是在1到16号中吗？”。如果他告诉我猜对了，我会继续问：“是在1到8号中吗？”。这种询问方式大家都懂，因此这样询问下去，只需要5次，也就是只需要5元钱就可以知道哪支球队是冠军。

  因此，世界杯冠军这条消息的信息量可以看做是5元钱。
  我们回到数学上的问题，使用比特来代替钱的概念（计算机中，一个比特是一位二进制数，一个字节就是8个比特），这条信息的信息量是5比特。如果有64支队伍，就要多猜一次，也就是6比特。

  log₂32 = 5，log₂64 = 6

  以上是在所有队伍的夺冠可能性相同的情况下的计算方法，一般化来说，对于任何一个随机变量X，他的信息量，也就是信息熵如下：

  H(X) = -∑P(x)logP(x)

  变量X的不确定性越大，信息熵也就越大。也就是说，如果要把这件事搞清楚，所需要知道的信息量就越多。换句话说，信息熵就是信息的不确定性。

  可以结合世界杯的例子进行理解，参与