信息量、信息熵、条件熵、信息增益

信息量

有时候，当你知道某件事情的时候，你可能会说 “这有什么奇怪的啊”，比如，有同事告诉你“明天太阳从东边升起”，这就是说这件事情的信息量比较少。

又比如，当你知道明天彩票号码时，你就可能会说 “这个事是真的吗，太不可思议了”，就是说这件事情信息量比较大。

从上面的事情就是对一件事情携带信息量的直观感受，那么从数学角度是否可以衡量信息量呢？又或者说有没有某个公式可以衡量信息量呢？

---

我们来看看信息量的几个特点：

1.信息量必须是正数。也就是某个事件的发生带来的信息量是正的，而不是某个事件的发生会带走信息量。

2.信息量和事件发生的概率成反比。某个事件发生的概率越大，比如“太阳从东边升起”这个大概率事件，带来的信息量就比较少。而某些小概率事件带来的信息量应该比较大，比如明天的彩票号码、世界杯德国会拿冠军。

3.两个事件的信息量可以相加。事件a的发生带给你的信息量是x，事件b的发生带给你的信息量是y，那么事件a,b都发生带给你的信息量应该就是x+y。

满足1、2两点的公式有很多，  或者 

但是同时还要满足条件3的公式就是 ，所以这就是信息量的公式。

---