信息熵（entropy)的理解

引言：
最近在看数据挖掘的内容，看视频的时候，里面讲到了一些信息熵的东西，突然让我对于之前信息熵的迷惑瞬间消散。写这个的目的只是抛砖引玉，辅助看到信息熵的朋友加深一点点…点.理解，水平实在有限，尽量保证正确

首先这儿有个统计图表，如下：

从图中这三列，我们分别可以得到如下信息：
1.第一列：总人群中男女比例都是0.5
2.第二列：在不吸烟的人群中女的为0.8，男的为0.2
3.第三列：在吸烟的人群总女的为0.05，男的为0.95

现在我们抛出这样一个问题。晚上，你在街角看到一个人在抽烟，你能确定他是男人还是女人？

很明显，百分之50是男的，百分之50是女的。那么这中间信息的不确定度到底有多大呢？

这里信息熵就是用来描述不确定度的，信息熵公式及函数图像如下：

可以看信息熵的函数是一个凹函数
那么现在你在不知道人群男女吸烟比例的情况下，你的信息熵是多少呢？也就是你的不确定度。
根据男女比例各位0.5的概率，带入信息熵公式，有如下结果：