信息熵

信息熵是对不确定性或者所包含信息的一种度量。例如：抛掷一枚均匀的硬币，正面和反面出现的概率相等都是1/2，那么通过熵的计算公式，抛掷一次的熵为1bit，抛掷两次的熵为2bit。也就是说，为了标记抛掷的结果，我们需要一个比特位，如用0标记正面，1标记反面，此时不确定性也就最大。如果是一枚不均匀的硬币，那么通过熵的计算公式，其值必然小于1，也就是说我们预测结果的不确定性降低了，这种硬币抛掷后所蕴含的信息量较少。

熵是自信息的期望，其公式为：，