信息熵的理解

1. 信息熵的定义式
                            H(X)= - ,其中=p(X=) ; i=1,2....n
2. 通过以上的式子求和的单项  ，我们可以理解的是他表示x=xi发生的概率为pi，那么产生一次x=xi的次数应该需要1/pi次，要在1/pi次中找到x=xi的那个特定的点，需要对这些次数进行搜索，至少需要寻找log（1/pi）次，每次找到的概率是pi，所以pi·log（1/pi）表示的是寻找到x=xi的那个点的期望。
3. 基于对第2点内容的理解，信息熵H(x)其实就是对找到x=xi，xj，xk....的期望的累加。
4. 数据集的信息熵越大，说明该数据集越复杂， 需要付出更大的代价才能弄懂这些信息。
5. 利用机器学习算法对数据集进行处理的时候，那产生的模型的复杂度应该与数据集本身的信息熵息息相关。
6. 决策树的ID3分类算法是针对信息熵增益对某个特征进行选择的，他表示的想法是：信息熵增益越大，该特征所能提供信息越多，对数据集的分类越有效果。