决策树原理及其应用

决策树原理及其应用

##决策树的原理
我们先构造一颗简单的决策树来玩一玩。举一个不恰当的例子：小明过年回家，老妈催着他结婚，帮着张罗相亲对象。有三个女孩的资料（简称A、B、C）。
关于A:
小明问:“身材好吗？”，妈妈说：“好！”，小明说：“见一面”
关于B:
小明问:“身材好吗？” ， 妈妈说：“不好！”，小明又问：“漂亮吗？”，
妈妈说：“漂亮！”，小明说：“见一面”
关于C:
小明问:“身材好吗？” ， 妈妈说：“不好！”，小明又问：“漂亮吗？”，妈妈说：“不漂亮”，小明又问：“会写代码吗？”，妈妈说：“会”，小明说：“见一面”。

我们构造出小明相亲的决策树如下：

在这里 优先级顺序是 身材 > 颜值 > 编程能力。这个时候就会疑惑，这个“优先级”是怎么决定的呢？在决定是否去相亲的因素有很多，工作地点的距离（我编不出来了）etc…，我们是否要每一个因素都去考虑？如果你有这方面的疑惑，恭喜你！如果在1984，提出CART算法的人可能不是Breiman了。这三个问题涉及到决策树中的特征选择，决策树的生成，决策树的修剪，一堆扯淡的引入到此为止。

下面是某相亲网上约会成功的数据：

ID	年龄	工作	有房	颜值	类别
1	青年	否	否	一般	否
2	青年	否	否	好	否
3	青年	是	否	好	是
4	青年	是	是	一般	是
5	青年	否	否	一般	否
6	中年	否	否	一般	否
7	中年	否	否	好	否
8	中年	是	是	好	是
9	中年	否	是	非常好	是
10	中年	否	是	非常好	是
11	老年	否	是	非常好	是
12	老年	否	是	好	是
13	老年	是	否	好	是
14	老年	是	否	非常好	是
15	老年	否	否	一般	否

以上数据改编自 李航《统计学习方法》

1. 特征选择
   特征选择是根据所给数据来决定用哪个特征来对数据进行分类，当然是按特征的分类能力强弱来对数据进行分类，下面我们来讲一讲如何评判特征的分类能力。
   先看一看是否有房这一栏和类别的关系，在有房的情况下，类别为是的一共有6组数据;在没有房的情况下，类别为否的一共有6组数据，是否有房和是否约会成功一致的一共有12组数据。再看一看是否有工作和是否约会成功一致的数据，发现一共有11组数据。“12>11”感觉上“是否有房子”比“是否有工作”的分类能力要强一些，到底是不是这样呢？下面我们用精确的数学语言来解释一下。
   我们这里引入三个信息论的概念熵、条件熵、信息增益、信息增益比。
   熵 表示随机变量不确定性的度量。设$X$是一个取有限个值的随机变量，其分布为: $P(X=x_i)=p_i,i=1,2,...,n$
   则随机变量$X$的熵定义为:
   $H(X)=-{\sum }_{i=1}^n{p}_{i}log{p}_i$

例子: 随机变量是年龄
$P(x_1= 青年) = \frac{5}{15}; P(x_2 = 中年) = \frac{5}{15};P(x_3 = 老年) = \frac{5}{15} $
$H(X)=-(\frac{5}{15}log\frac{5}{15}+\frac{5}{15}log\frac{5}{15}+\frac{5}{15}log\frac{5}{15})$

**条件熵 **$H(Y|X)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性，定义为:
$H(Y|X)={\sum }_{i=1}^n{p}_{i}H(Y|X=x_i)$ ,这里$ p_i=P(X = x_i) , i=1,2,…,n$

例子：随机变量$Y$为类别，随机变量$X$为年龄

$H(Y|X)=\frac{5}{15}H(Y|x_1=青年)+\frac{5}{15}H(Y|x_2=中年)+\frac{5}{15}H(Y|x_3=老年)$

$H(Y|x_1=青年)=-{\sum }_{i=1}^{n}p(x=青年，y_i)logp(y_i|x=青年)$
$H(Y|x_1=中年)=-{\sum }_{i=1}^{n}p(x=中年，y_i$