决策树以及AdaBoost(随时更改，来自统计学习方法)

决策树(decision tree)

熵(entropy)是随机变量不确定性的度量。随机变量$X$的熵的定义为

$$H(X)=H(p)=-\sum _{i=1}^n{p}_i\log p_i$$
设有随机变量$(X,Y)$，其联合概率分布为：

$$P(X=x_i,Y=y_j)=p_{ij},i=1,2,\cdots ,m$$
条件熵(conditional entropy) $H(Y|X)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性。定义为$X$给定条件下$Y$的条件概率分布的熵对$X$的数学期望
$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$
其中，$p_i=P(X=x_i),i=1,2,\cdots ,n.$

熵和条件熵分别称为经验熵(empirical entropy)和经验条件熵(empirical conditional entropy)。令$0\log 0=0$。

信息增益：特征$A$对训练数据集$D$的信息增益$g(D,A)$，定义为集合$D$的经验熵$H(D)$与特征$A$给定条件下$D$的经验条件熵$H(D|A)之差，即：$

$$g(D,A)=H(D)-H(D|A)$$

信息增益的算法

输入：训练数据集$D$和特征$A$

输出: 特征$A$对训练数据集$D$的信息增益$g(D,A)。$

(1)计算数据集$D$的经验熵$H(D)$
$$H(D)=-\sum _{k=1}^k\frac{|C_k|}{|D|}{\log }_2\frac{|C_k|}{|D|}$$
(2)计算特征$A$对数据集$D$的经验条件熵$H(D|A)$
$$\begin{array}{rl}H(D|A)& =\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)\\ & =-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^k\frac{|D_{ik}|}{|D_i|}{\log }_2\frac{|D_{ik}|}{|D_i|}\end{array}$$
(3)计算信息增益

$$g(D,A)=H(D)-H(D|A)$$

信息增益比

特征$A$对训练数据集$D$的信息增益比$g_R(D,A)$定义为其信息增益$g(D,A)$与训练数据集$D$关于特征$A$的值的熵$H_A(D)$之比，即
$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$
其中，$H_A(D)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\log }_2\frac{|D_i|}{|D|}$，$n$是特征$A$取值的个数。

决策树生成算法

1. ID3 算法 $\to$ 信息增益准则选择特征，选择信息增益最大的特征作为结点的特征
2. C4.5 算法 $\to$ 用信息增益比来选择特征

剪枝

决策树的剪枝往往通过极小化决策树整体的损失函数(loss function)或代价函数(cost function)来实现。

树的节点分为内部节点和叶节点。

设树$T$的叶节点的个数为$|T|$，$t$是树$T$的叶节点，该叶节点有$N_t$个样本点，其中$k$类的样本点有$N_{tk}$个，$k=1,2,\cdots ,K，H_t(T)$为叶节点$t$上的经验熵，$\alpha \ge 0$为参数，则决策树学习的损失函数可以定义为：
$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|$$
其中经验熵为
$$H_t(T)=-\sum _k\frac{N_{tk}}{N_t}\log \frac{N_{tk}}{N_t}$$
记：

$$\begin{array}{rl}C(T)& =\sum _{t=1}^{|T|}{N}_t{H}_t(T)\\ & =-\sum _{t=1}^{|T|}\sum _{k=1}^K{N}_{tk}\log \frac{N_{tk}}{N_t}\end{array}$$
这时有：
$$C_{\alpha }(T)=C(T)+\alpha |T|$$
$C(T)$表示模型对训练数据的预测误差，即模型与训练数据的拟合程度，$|T|$表示模型复杂度，参数$\alpha \ge 0$控制两者之间的影响。较大的$\alpha$促使选择较简单的模型（树），较小的$\alpha$促使选择较复杂的模型（树）。$\alpha =0$意味着只考虑模型与训练数据的拟合程度，不考虑模型的复杂度。

树的剪枝算法

输入：生成算法产生的整个树$T$，参数$\alpha$

输出：修剪后的子树$T_{\alpha }$

1. 计算每个结点的经验熵。
2. 递归地从树的叶结点向上回缩。
   
   设一组叶结点回缩到其父结点之前和之后的整体树分别为$T_B$与$T_A$，其对应的损失函数值分别是$C_{\alpha }(T_B)$与$C_{\alpha }(T_A)$，如果
   $$C_{\alpha }(T_A)\le C_{\alpha }(T_B)$$
   则进行剪枝，即将父结点变为新的叶结点。
3. 返回2，直至不能继续为止，得到损失函数最小的子树$T_{\alpha }$

CART(classification and regression tree)算法

CART(分类与回归树)假设决策树为二叉树。

1. 回归树 $\to$ 平方误差最小化准则
2. 分类树 $\to$ 基尼指数(Gini index)最小化准则

最小二乘回归树生成算法

输入：训练数据集$D$；

输出：回归树$f(x)$

在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树：

1. 选择最优切分变量$j$与切分点$s$，求解
   $$\underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2\right]$$
   遍历变量$j$，对固定的切分变量$j$扫描切分的$s$，选择使上式达到最小值的对$(j,s)$
2. 用选定的对$(j,s)$划分区域并决定相应的输出值:
   R 1 ( j , s ) = { x ∣ x ( j ) ≤ s } ,   R 2 ( j , s ) = { x ∣ x ( j ) > s } R_1(j,s)=\{ x|x^{(j)} \le s \},\ R_2(j,s)=\{ x|x^{(j)} \gt s \} R1​(j,s)={x∣x(j)≤s}, R2​(j,s)={x∣x(j)>s}
   $${\hat{c}}_m=\frac{1}{N_m}\sum _{x_i\in R_m(j,s)}{y}_i,x\in R_m,m=1,2$$
3. 继续对两个子区域调用步骤1、2，直至满足停止条件。
4. 将输入空间划分为$M$个区域$R_1,R_2,\cdots ,R_M$，生成决策树：
   $$f(x)=\sum _{m=1}^M{\hat{c}}_{m}I(x\in R_m)$$

分类树

基尼指数

分类问题中，假设有$K$个类，样本点属于第$k$类的概率为$p_k$，则概率分布的基尼指数定义为
$$Gini(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p_k}^2$$
对于二分类问题，若样本点属于第1类的概率是$p$，则概率分布的的基尼指数为
$$Gini(p)=2p(1-p)$$
对于给定的样本集合$D$，其基尼指数为
$$Gini(D)=1-\sum _{k=1}^K{\left(\frac{|C_k|}{|D|}\right)}^2$$
其中，$C_k$是$D$中属于第$k$类的样本子集，$K$是类的个数。

如果样本集合$D$根据特征$A$是否取某一可能值$a$被分割成$D_1$和$D_2$两部分，即
D 1 = { ( x , y ) ∈ D   ∣   A ( x ) = a } ,   D 2 = D − D 1 D_1=\{ (x,y) \in D \ |\ A(x)=a\},\ D_2=D-D_1 D1​={(x,y)∈D ∣ A(x)=a}, D2​=D−D1​
则在特征$A$的条件下，集合$D$的基尼指数定义为
$$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$
基尼指数$Gini(D)$表示集合$D$的不确定性，基尼指数$Gini(D,A)$表示经$A=a$分割后集合$D$的不确定性。基尼指数值越大，样本集合的不确定性也就越大，这一点与熵相似。

CART生成算法

输入：训练数据集$D$，停止计算的条件

输出：CART决策树

根据训练数据集，从根结点开始，递归地对每个结点进行以下操作，构建二叉决策树：

1. 设结点的训练数据集为$D$，计算现有特征对该数据集的基尼指数。此时，对每一个特征$A$，对其可能取的每个值$a$，根据样本点对$A=a$的测试为“是”或“否”将$D$分割成$D_1$和$D_2$两部分，计算$A=a$时的基尼指数。
2. 在所有可能的特征$A$以及它们所有可能的切分点$a$中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
3. 对两个子结点递归地调用1、2，直至满足停止条件。
4. 生成CART决策树。

CART剪枝

CART剪枝算法由两步组成：

1. 从生成算法产生的决策树$T_0$底端开始不断剪枝，直到$T_0$的根结点，形成一个子树序列 { T 0 , T − 1 , ⋯   , T n } \{T_0,T-1,\cdots,T_n\} {T0​,T−1,⋯,Tn​}
2. 通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。
   剪枝过程中，计算子树的损失函数：
   $$C_{\alpha }(T)=C(T)+\alpha |T|$$

其中，$T$为任意子树，$C(T)$为对训练数据的预测误差（如基尼指数），$|T|$为子树的叶结点个数，$\alpha \ge 0$为参数，$C_{\alpha }(T)$为参数是$\alpha$时的子树$T$的整体损失。参数$\alpha$权衡训练数据的拟合程度与模型的复杂度。

当$\alpha$大的时候，最优子树$T_{\alpha }$偏小；当$\alpha$小的时候，最优子树$T_{\alpha }$偏大。极端情况下，当$\alpha =0$时，整体树是最优的。当$\alpha \to \infty$时，根结点组成的单节点树是最优的。

可以用递归的方法对数进行剪枝。将$\alpha$从小增大$0={\alpha }_0<{\alpha }_1<\cdots <{\alpha }_n<+\infty$，产生一系列的区间$[{\alpha }_i,{\alpha }_{i+1}),i=0,1,\cdots ,n$；剪枝得到的子树序列对应着$\alpha \in [{\alpha }_i,{\alpha }_{i+1}),i=0,1,\cdots ,n$的最优子树序列 { T 0 , T − 1 , ⋯   , T n } \{T_0,T-1,\cdots,T_n\} {T0​,T−1,⋯,Tn​}，序列中的子树是嵌套的。

具体地，从整体树$T_0$开始剪枝。对$T_0$的任意内部结点$t$，以$t$为单结点树的损失函数是
$$C_{\alpha }(t)=C(t)+\alpha$$
以$t$为根结点的子树$T_t$的损失函数是
$$C_{\alpha }(T_t)=C(T_t)+\alpha |T_t|$$
当$\alpha =0$及$\alpha$充分小时，有不等式
$$C_{\alpha }(T_t)<C_{\alpha }(t)$$
当$\alpha$增大时，在某一$\alpha$有
$$C_{\alpha }(T_t)=C_{\alpha }(t)$$
当$\alpha$再增大时，$C_{\alpha }(T_t)>C_{\alpha }(t)$.只有$\alpha =\frac{C(t)-C(T_t)}{|T_t|-1}$，$T_t$与$t$有相同的损失函数值，而$t$的结点少，因此$t$比$T_t$更可取，对$T_t$进行剪枝。
为此，对$T_0$中每一内部结点$t$计算
$$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}$$
它表示剪枝后整体损失函数减少的程度。在$T_0$中剪去$g(t)$最小的$T_t$，将得到的子树作为$T_1$，同时将最小的$g(t)$设为${\alpha }_1$.$T_1$为区间$[{\alpha }_1,{\alpha }_2)$的最优子树。

如此剪下去，直至得到根结点。在这一过程中，不断地增加$\alpha$的值，产生新的区间。

CART剪枝算法

输入：CART算法生成的决策树$T_0$
输出：最优决策树$T_0$

1. 设$k=0,T=T_0$
2. 设$\alpha =+\infty$
3. 自下而上地对各内部结点$t$计算$C(T_t)$，$|T_t|$以及
   $$\begin{gathered} g(t)=\frac{C(t)-C(T_t)}{|T_t|-1} \\ \alpha =min(\alpha ,g(t)) \end{gathered}$$
   这里，$T_t$表示以$t$为根结点的子树，$C(T_t)$是对训练数据的预测误差，$|T_t|$是$T_t$的叶结点个数。
4. 对$g(t)=a$的内部结点$t$进行剪枝，并对叶结点$t$以多数表决法决定其分类，得到树$T$
5. 设$k=k+1,{\alpha }_k=\alpha ,T_k=T$
6. 如果$T_k$不是有根结点及两个叶结点构成的树，则回到步骤3，否则令$T_k=T_n$
7. 采用交叉验证法在子树序列$T_0,T_1,\cdots ,T_n$中选取最优子树$T_{\alpha }$。

提升方法(boosting)

AdaBoost算法

例子

训练数据表：

序号	1	2	3	4	5	6	7	8	8	10
x	0	1	2	3	4	5	6	7	8	9
y	1	1	1	-1	-1	-1	1	1	1	-1

前向分步算法(forward stagewise algorithm)

每一步都只学习一个基函数及其系数。

AdaBoost算法是前向分步加法算法的特例。

提升树(boosting tree)

以分类树或回归树为基本分类器。提升方法采用加法模型与前向分步算法。决策树为二叉树或二叉回归树。

$$f_M(x)=\sum _{m=1}^{M}T(x;{\Theta }_m)$$
其中，$T(x;{\Theta }_m)$表示决策树;${\Theta }_m$为决策树的参数；$M$为树的个数。

$${\hat{\Theta }}_m=arg\underset{{\Theta }_m}{\min }\sum _{m=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;{\Theta }_m))$$

损失函数

平方误差损失函数 $\to$ 回归问题

指数损失函数 $\to$ 分类问题

一般损失函数 $\to$ 一般决策问题

梯度提升(gradient boosting)

梯度提升树GBDT

关键是利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值，拟合一个回归树。

$$-\left[\frac{\partial L(y,f(x_i))}{\partial f(x_i)}\right]$$
讲解GBDT的一个不错的博客
结合下面帮助理解
$$learnrate:0.1\Rightarrow 1.475-0.1\times 0.375=1.4375$$

index	id	age	weight	label	f_0	res_1	f_1	res_2	f_2	res_3	f_3	res_4	f_4	res_5	f_5
0	1	5	20	1.1	1.475	-0.375	1.4375	-0.3375	1.40375	-0.30375	1.373375	-0.273375	1.346037	-0.246037	1.321434
1	2	7	30	1.3	1.475	-0.175	1.4575	-0.1575	1.44175	-0.14175	1.427575	-0.127575	1.414818	-0.114818	1.403336
2	3	21	70	1.7	1.475	0.225	1.4975	0.2025	1.51775	0.18225	1.535975	0.164025	1.552377	0.147622	1.567140
3	4	30	60	1.8	1.475	0.325	1.5075	0.2925	1.53675	0.26325	1.563075	0.236925	1.586768	0.213232	1.608091

$$learnrate:0.2\Rightarrow 1.475-0.2\times 0.375=1.4$$

index	id	age	weight	label	f_0	res_1	f_1	res_2	f_2	res_3	f_3	res_4	f_4	res_5	f_5
0	1	5	20	1.1	1.475	-0.375	1.40	-0.30	1.340	-0.240	1.2920	-0.1920	1.25360	-0.15360	1.222880
1	2	7	30	1.3	1.475	-0.175	1.44	-0.14	1.412	-0.112	1.3896	-0.0896	1.37168	-0.07168	1.357344
2	3	21	70	1.7	1.475	0.225	1.52	0.18	1.556	0.144	1.5848	0.1152	1.60784	0.09216	1.626272
3	4	30	60	1.8	1.475	0.325	1.54	0.26	1.592	0.208	1.6336	0.1664	1.66688	0.13312	1.693504