机器学习实战 -- 决策树

决策树

一、决策树算法简介

决策树算法包含：特征选择，决策树的生成与决策树的剪枝（本文暂不做介绍）。
优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。
缺点：可能会产生过度匹配问题。
适用数据类型：数值型和标称型。

本文采用 ID3生成算法。

二、工作原理

经验熵(empirical entropy)

$$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}{\log }_2\frac{|C_k|}{|D|}$$

• $D$：训练数据集$D$
• $C_k$：有$k$个类；$C_1,C_2,...,C_k$
• $|C_k|$：$C_k$类的样本个数
• $|D|$：训练数据集$D$的个数

$eg:数据集D，分为yes（C_1）和no（C_2）两类，如表1：$
$$表1$$

no surfacing	filppers	类别
1	1	yes
1	1	yes
1	0	no
0	1	no
0	1	no

$C_1$类的样本个数为：2，即：$|C_1|=2$

$C_2$类的样本个数为：3，即：$|C_2|=3$

$|D|$训练数据样本总数为：5，即：$|D|=5$

$$\begin{array}{rl}H(D)& =-\frac{2}{5}{\log }_2\frac{2}{5}-\\ & \end{array}$$