（-）朴素贝叶斯学习（1）-机器学习中熵的理解

背景：

在学习NBC时，涉及特征独立的假设，并非所有的特征都对分类有贡献，因而需要进行特征选择，在NB中存在以下问题：

1.NB:多个特征的联合分布 ;

2. 并不是所有的特征都对分类有贡献;

3.运算复杂度O(D).

解决方法：

*去除不相关的特征，只选择最重要的特征；

*最简单即找出最相关的K个特征；

*特征相关性度量：与目标Y的互信息

在这个公式中，即体现了我们的主角： MI(互信息) can be thought of as the reduction in entropy(熵) on the label distribution once we observe the value of feature j. 

这里说，一旦我们知道特征j 与类别的关系，就会减少熵。（我去，明明熵在哪里都没看到啊）

一、 熵的理解：

这里出现了一个词reduction,减少，说明我们知道的信息越多，那么熵应该是