监督学习 | ID3 决策树原理及Python实现

相关文章：

机器学习 | 目录

监督学习 | ID3 决策树原理及Python实现

监督学习 | ID3 & C4.5 决策树原理

监督学习 | CART 分类回归树原理

监督学习 | 决策树之Sklearn实现

监督学习 | 决策树之网络搜索

1. 信息熵 Information Entropy

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。

信息熵这个词是香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述不确定性。

• 随机变量$x$的信息熵计算公式：$H(x)=-{\sum }_{i=1}^{n}P(x_i)lo{g}_2(P_i)$
• 信息熵越大，则表示不确定性越高。
• 在文本中，当不同的词汇越多时，其信息熵越大，直观上来说就是所包含的信息越多

熵：在物理的热力学中，用熵来表示分子状态混乱程度。当一个物体温度越高时，其内部粒子活动越剧烈，也越混乱。因此混乱程度越高，熵越大。

1.1 信息熵公式推导

1. 计算取出结果与原顺序相同的概率：

$$P(x_i)=P(x_1)\times P(x_2)\times ...\times P(x_n)\text{\hspace{1em}(1)}$$

2. 将概率公式取以2为底的对数变换，得到信息量$I(x_i)$的公式：

$$I(x_i)=lo{g}_2(\frac{1}{P(x_i)})=-lo{g}_2(P(x_i))\text{\hspace{1em}(2)}$$

3. 随机变量$x$的信息熵计算公式：:

$$H(x)=E[I(x_i)]=-E[lo{g}_2(P(x_i))]=-\sum _{i=1}^{n}P(x_i)lo{g}_2(P_i)\text{\hspace{1em}(3)}$$

对于样本集合$D$来说，随机变量$x$是样本的类别，即假设样本有$k$个类别，样本总数为$D$，则类别$i$的概率是$\frac{c_i}{D}$。

因此样本集合$D$的经验熵为：
$$H(D)=-\sum _{i=1}^k\frac{|c_i|}{|D|}lo{g}_2(\frac{|c_i|}{|D|})\text{\hspace{1em}(4)}$$

例1：假设有四个球，从中随机放回地抽出四个球，下面计算各个事件的信息熵：

1.红红红红，则事件$x$的信息熵：

$H(x)=-{\sum }_{i=1}^4$