信息熵（entropy）、交叉熵（cross entropy）、条件熵、信息量增益、相对熵（relative entropy）

最新推荐文章于 2025-02-23 12:00:16 发布

kami0116

最新推荐文章于 2025-02-23 12:00:16 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

文章标签：熵交叉熵相对熵信息增益条件熵

本文链接：https://blog.youkuaiyun.com/kami0116/article/details/90313559

信息量(Information Quantity)

已知事件E已发生，这一消息含有或提供了信息量。

依次掷两颗骰子。定义事件 $X_{2}$ ：两个骰子的点数之和是2；事件 $X_{7}$ ：两个骰子的点数之和是7。

现在要确定两个骰子的具体点数，请问那个时间能给我们带来更大的信息量？很明显，是事件 $X_{2}$ 。因为，当事件 $X_{2}$ 发生时，我们能明确地知道骰子是(1,1)。即，第一颗骰子的点数是1，第二颗的点数也是1。而当 $X_{7}$ 发生时，要知道两颗点数的具体情况还有6种可能有待确定。再比如事件A：两个骰子的点数之和大于1；这个事件的发生没有带来任何信息，就是一句废话。

那么如何量化信息量呢？这里直接给出公式：

$I\left ( X_{i} \right )=\log_{a} \frac{1}{p\left ( X_{i} \right )}=-\log_{a}p\left ( X_{i} \right )$

在两个骰子的例子中，可以说log的底数是6。要确定两个骰子的点数，就需要两个信息。第一个是几？第二个是几？但是，一般log的底数为2，因为我们都是用二进制来表述信息的。那么两个骰子的结果我们可以编号，(1,1)是0号，(1,2)是2号，....，(6,6)是35号。这些数字就可以用二进制编号了。确定两个塞子的点数需要5.17比特的信息。

例题：若估计在一次国际象棋比赛中谢军获得冠军的可能性为0.1(记为事件A)，而在另一次国际象棋比赛中她得到冠军的可能性为0.9(记为事件B)。试分别计算当你得知她获得冠军时，从这两个事件中获得的信息量各为多少？

　　　　　　I(A)=-log2 P(0.1)≈3.32(比特)

　　　　　　I(B)=-log2 P(0.9)≈0.152(比特)