决策树、Bagging、随机森林、Boosting、Adaboost、GBDT、XGBoost

决策树（Descision Tree）

决策树介绍

决策树基于“树”结构进行决策：
- 每个“内部节点”对应于某个属性上的测试
- 每个分枝对应于该测试的一种可能结果（即属性的某个取值）
- 每个叶节点对应于一个“预测结果”

决策树学习的三个步骤

• 特征选择
• 决策树的生成
• 决策树的修剪
  特征选择是决定用哪个特征来划分特征空间；
  特征选择的准则：信息增益或信息增益比

案例:预测小明今天出门打不打球

信息增益

熵

熵表示随机变量不确定性的度量
假设随机变量X，它可能属于n个类中的任何一个，通过样本的统计，它分别属于各个类的概率分别为p₁,p₂,…p_n，那么要想把某一样本进行归类所需要的熵就为：

$$H(X)=-\sum_{i=1}^{n} {p_ilog_2p_i}$$
若p _i=0,则0log0=0
注：熵只依赖与X的分布，与X的取值无关

条件熵

随机变量X给定的情况下随机变量Y的条件熵H(Y|X)，定义为

$$H(Y|X)=\sum_{i=1}^{n} {p_iH(Y|X=x_i)}$$
这里 $p_i=P(X=x_i),i=1,2,...,n$
当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵与条件熵分别称为经验熵与经验条件熵。

信息增益

特征A对数据集D的信息增益g(D,A)定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵之差，即

$$g(D,A)=H(D)-H(D,A)$$

小明打球案例中，数据集D的经验熵为：

$$H(D)=-\frac {9} {14}log_2\frac {9} {14}-\frac {5} {14}log_2\frac {5} {14}=0.940$$
特征天气对数据集D的信息增益为：
$$g(D,天气)=H(D)-[\frac {5} {14}H(D1)+\frac {4} {14}H(D2)+\frac {5} {14}H(D3)]$$

=0.940−[514