[DataAnalysis]为什么说熵是不确定性的度量

参考：https://www.zhihu.com/question/19753084/answer/32205378

类似其他度量，我们希望对一个事情的随机性有一个度量，当一个事情是确定发生的时候，熵是最小的。随着事情的随机性越大，熵也相应地越大。

以抛硬币为例：如果硬币是完全均匀的，正面和反面的概率完全一致，那么最终硬币的结果不会偏向任何一种情况，从而熵是最大的。

数学定义

熵是一个大于等于0的数，当事情是确定性时，相当于只有一个等于1，剩下都为0，从而熵等于0。