信息熵、信息增益

关于信息熵、信息增益的一些思考

1.为什么信息熵越大，蕴含的信息量越多？
拿二分类问题来说，首先信息熵的公式是
Ent(D) = -(p*log_2( p)+(1-p)*log_2(1-p))
p是某一类（假设label=0）的概率，那么1-p就是另一类的概率，图像如下：

上图x轴时概率p，y轴时信息熵， 由图像可得，当p=0或者1时，熵最小为0，此时变成了只有一类的问题，那么类别就很确定，只能是p=1所对应的类，蕴含的信息量少而确定，而当p=0.5时，此时信息熵最大为1，而且对于类别的预测就和随机猜测结果一样，此时的类别就很难确定，蕴含的信息量就比较大。举个栗子，当同学们上课时，都在自己的座位上，此时预测同学们现在在哪，我可以很明确的知道，大家都在教室里，课件休息的时候，预测其中一个同学在哪，你会发现，很难找到他，他有可能取去操场打球了，有可能出去逛街了，也有可能去约会了等等（以大学生举例），假设这位同学可能去做n种事情，那么此时蕴含的信息量最大，此时的预测结果就充满了不确定性。
2. 信息增益和分类能力有什么关系？
分类能力：能将不同类别很好的区分开，信息增益：选用该特征划分前后信息的变化量，信息增益越大，那么划分后的信息量越小，那么划分后组内只含有单一类别的可能性越大，也就将类别划分开，从而信息增益越大，分类能力越强。
Gain = Ent(D)-sum(|D_i|/|D|*Ent(D_i))

3.信息增益的缺点
偏向于取值较多的特征，因为取值越多，那么划分时组内只有单一类别的可能性就越大，分类能力越强。