从“信息增益”到KL Divergence 和 Cross Entropy

从“信息增益”到KL Divergence 和 Cross Entropy

周志华老师在他的西瓜书的第四章，引入了“信息熵”，“信息增益”（information gain）的概念，并用信息增益最大为准则选择划分决策树的属性。周老师并没有对这两个概念进行深入讲解，实际上这两个概念均来源于信息论（Information Theory）领域。

Entropy, actually, is a measure of surprise

西瓜书中对信息熵是这样定义的：

假定当前集合$D$中第$k$个类样本所占比例为$p_{k}$, 则$D$的信息熵定义为

$$Ent(D) = -\sum_{k}p_{k}log_{2}p_{k}$$

事实上，我们可以把$p_{k}$近似看成一个样本是第$k$类的概率，那么信息熵就可以看做是观测到一个样本，所得到的信息的一个期望。

$$H(K) = E(log(\frac{1}{p_{k}}))$$
其中 $log(\frac{1}{p_{k}})$就表示观测到一个样本，他的类别是 $k$的信息。
从上述公式可以看出，观测到一个事件给我们的信息量，跟这个事件发生的概率有关。概率越小，信息量越大。

Information Gain is also called mutual information

西瓜书接下来又定义了information gain：