【Python深度学习】——信息量|熵

假设

例子：掷硬币
假设我们有一个公平的硬币。这个硬币有两个面：正面（H）和反面（T），每次掷硬币出现正面或反面的概率都是 0.5

1. 信息量

1.1 含义

信息量用来表示一件事发生的难易程度
一件事越容易发生, 它的信息量就越小.

1.2 信息量的公式:

$$I(x)=-{\log }_{2}P(x)$$
其中,
$$I(x)$$表示事件 ( x ) 的信息量, $$P(x)$$表示事件 ( x ) 发生的概率
以2为底, 是转换到二进制下的表示复杂度.
此外, 事件独立时, 两个事件同时发生的信息量,等于两个事件的信息量相加.
即
$$I(AB)=-{\log }_2$$