《统计学习方法》（第八章）——提升方法

提升方法AdaBoost算法

提升方法的基本思路

在概率近似正确(PAC)学习的框架中，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机的好，那么就称为弱可学习，而强可学习与弱可学习是等价的，所以可以通过方法来提升弱可学习为强可学习，AdaBoost算法采取加权多数表决的方式来减少误差率

AdaBoost算法

输入：训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中xi∈Rn,yi∈{−1,+1}x_i \in R^n, y_i \in \{-1,+1\}xi​∈Rn,yi​∈{−1,+1}
输出：最终分类器$G(x)$
$(1)$初始化训练数据权值分布
$$D_1=(w_{11},w_{12},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,....,N$$
$(2)$对$m=1,2,....,M$

• $(a)$使用权值分布$D_m$的训练数据集学习，得到基本分类器
  Gm(x):X→{−1,+1}G_m(x):X \to \{-1,+1\}Gm​(x):X→{−1,+1}
• $(b)$计算$G_m(x)$在训练数据集上的分类误差率,选择误差率最小的作为$G_m(x)$
  $$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$
• $(c)$计算$G_m(x)$的系数
  $$a_m=\frac{1}{2}\log \frac{1-e_m}{e_m}$$
• $(d)$更新训练数集的权值分布
  $$D_{m+1}=(w_{m+1,1},w_{m+1,2},...,w_{m+1,N})$$
  $$w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp (-a_m{y}_i{G}_m(x_i)),i=1,2,...,N$$
  其中
  $$Z_m=\sum _{i=1}^N{w}_{mi}\exp (-a_m{y}_i{G}_m(x_i))$$
  $(3)$构建基本分类器的线性组合
  $$f(x)=\sum _{m=1}^M{a}_m{G}_m(x)$$
  $$G(x)=sign(f(x))=sign(\sum _{m=1}^M{a}_m{G}_m(x))$$
  如果被误分类，则权值被放大
  $$e^{2a_m}=\frac{1-e_m}{e_m}$$
  倍

AdaBoost算法的训练误差分析

AdaBoost算法最终分类器的训练误差界为
$$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)\ne y_i)\le \frac{1}{N}\sum _{i=1}^N\exp (-y_{i}f(x_i))=\prod _{i=1}^N{Z}_i$$
下面我们给出证明
当$G(x_i)\ne y_i$时$y_{i}f(x_i)<0$,因而$\exp (-y_{i}f(x_i))\ge 1$ 所以直接得不等式证明又
$$w_{mi}\exp (-a_m{y}_i{G}_m(x_i))=Z_m{w}_{m+1,i}$$
推导如下
$$\frac{1}{N}\sum _{i=1}^N\exp (-y_{i}f(x_i))=\frac{1}{N}\sum _{i=1}^N\exp (-\sum _{m=1}^M{a}_m{y}_i{G}_m(x_i))$$
$$=\sum _{i=1}^N{w}_{1i}\prod _{m=1}^M\exp (-a_m{y}_i{G}_m(x_i))$$
$$=Z_1\sum _{i=1}^N{w}_{2i}\prod _{m=2}^M\exp (-a_m{y}_i{G}_m(x_i))$$
$$=Z_1{Z}_2\sum _{i=1}^N{w}_{3i}\prod _{m=3}^M\exp (-a_m{y}_i{G}_m(x_i))$$
$$=....$$
$$\prod _{m=1}^M{Z}_m$$
得证




$$\prod _{m=1}^M{Z}_m=\prod _{m=1}^M[2\sqrt{e_m(1-e_m)}]$$
$$=\prod _{m=1}^M\sqrt{(1-4{\gamma }_m^2)}$$
$$\le \exp (-2\sum _{m=1}^M{\gamma }_m^2)$$
其中
$${\gamma }_m=\frac{1}{2}-e_m$$

下面证明
$$Z_m=\sum _{i=1}^N{w}_{mi}\exp (-a_m{y}_i{G}_m(x_i))$$
$$=\sum _{y_i=G_m(x_i)}{w}_{mi}{e}^{-a_m}+\sum _{y_i\ne G_m(x_i)}{w}_{mi}{e}^{a_m}$$
$$=(1-e_m)e^{-a_m}+e_m{e}^{a_m}$$
$$=2\sqrt{e_m(1-e_m)}$$
$$=\sqrt{1-4{\gamma }_m^2}$$
由$e^x,\sqrt{1-x}$在0的泰勒展开推出
$$\prod _{m=1}^M\sqrt{(1-4{\gamma }_m^2)}\le \exp (-2\sum _{m=1}^M{\gamma }_m^2)$$
推论
如果存在$\gamma >0,$对所有$m$有${\gamma }_m\ge \gamma$
则
$$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)\ne y_i)\le \exp (-2M{\gamma }^2)$$
即模型错误率呈指数级下降

AdaBoost算法的解释

前向分步算法

算法:
输入:训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)};损失函数$L(y,f(x))$,基函数集{b(x;γ)}\{b(x;\gamma) \}{b(x;γ)}
输出:加法模型$f(x)$
$(1)$初始化$f_0(x)=0$
$(2)$对$m=1,2,...,M$

• $(a)$极小化损失函数
  $$({\beta }_m,{\gamma }_m)=\underset{\beta ,\gamma }{\mathrm{argmin}}\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta (x_i;\gamma ))$$
  得到更新的参数
• $(b)$更新
  $$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x:{\gamma }_m)$$
  $(3)$得到加法模型
  $$f(x)=f_M(x)=\sum _{m=1}^M{\beta }_{m}b(x:{\gamma }_m)$$

前向分步算法与AdaBoost

AdaBoost算法是前向分布加法算法的特例，这是模型是由基本分类函数组成的加法模型，损失函数是指数函数

下面证明
定义
$$L(y,f(x))=\exp [-yf(x)]$$
假设经过$m-1$次迭代得到$f_{m-1}(x)$
在求第$m$次迭代
$$(a_m,G_m(x))=\underset{a,G}{\mathrm{argmin}}\sum _{i=1}^N\exp [-y_i(f_{m-1}(x_i)+aG(x_i)]$$
$$(a_m,G_m(x))=\underset{a,G}{\mathrm{argmin}}\sum _{i=1}^N\widehat{w_{mi}}\exp [-y_{i}aG(x_i)]$$
其中
$$\widehat{w_{mi}}=\exp [-y_i{f}_{m-1}(x_i)]$$
首先求解$G_m^{\ast }(x)$对任意$a>0$由下式得到
$$G_m^{\ast }(x)=\underset{G}{\mathrm{argmin}}\sum _{i=1}^N\widehat{w_{mi}}I(y_i\ne G(x_i))$$
随后求$a^{\ast }$
$$\sum _{i=1}^N\widehat{w_{mi}}\exp [-y_{i}aG(x_i)]=\sum _{y_i=G_m(x_i)}\widehat{w_{mi}}{e}^{-a}+\sum _{y_i\ne G_m(x_i)}\widehat{w_{mi}}{e}^a$$
求导等于0得
$$a_m^{\ast }=\frac{1}{2}\log \frac{1-e_m}{e_m}$$
$$e_m=\frac{\sum _{i=1}^N\widehat{w_{mi}}I(y_i\ne G_m(x_i))}{\sum _{i=1}^N\widehat{w_{mi}}}$$
$$=\sum _{i=1}^N{w}_{mi}I(y_i\ne G_m(x_i))$$
又
$$\widehat{w_{mi}}=\exp [-y_i{f}_{m-1}(x_i)]$$
则
$$\widehat{w_{m+1,i}}=\widehat{w_{m,i}}\exp [-y_i{a}_m{G}_m(x)]$$

提升树

提升树以分类树或回归树为基本模型的提升方法，最好的统计学习模型之一

提升树模型

$$f_M(x)=\sum _{m=1}^{M}T(x;{\Theta }_m)$$
其中,$T(x;{\Theta }_m)$表示决策树，$\Theta$为参数，$M$为个数

提升树算法

算法
输入:训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中$x_i\in R^n,y_i\in R$
输出:提升树$f_M(x)$
$(1)$初始化$f_0(x)=0$
$(2)$对$m=1,2,...,M$

• $(a)$计算残差
  $$r_{mi}=y_i-f_{m-1}(x_i),i=1,2,...,N$$
• $(b)$拟合残差$r_{mi}$学习得到回归树得得$T(x;{\Theta }_m)$
• $(c)$更新$f_m(x)=f_{m-1}(x)+T(x;{\Theta }_m)$

$(3)$得到回归问题提升树
$$f_M(x)=\sum _{m=1}^{M}T(x;{\Theta }_m)$$

梯度提升

因为一般损失函数不易优化取梯度来替换残差
算法:
输入:训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中$x_i\in R^n,y_i\in R$损失函数$L(y,f(x))$
输出:回归树$f_M(x)$
$(1)$初始化
$$f_0(x)=\underset{c}{\mathrm{argmin}}\sum _{i=1}^{N}L(y_i,c)$$
$(2)$对$m=1,2,...,M$

• $(a)$对$i=1,2,...,N$计算
  $$r_{mi}=-[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}{]}_{f(x)=f_{m-1}(x)}$$
• $(b)$对$r_{mi}$拟合一个回归树,得到第$m$课树的叶子区域$R_{mj}$
• $(c)$对$j=1,2,...,J$计算
  $$c_{mj}=\underset{c}{\mathrm{argmin}}\sum _{x_j\in R_{mj}}L(y_i,f_{m-1}(x_i)+c)$$
• $(d)$更新$f_m(x)=f_{m-1}(x)+\sum _{j=1}^J{c}_{mj}I(x\in R_{mj})$
  $(3)$得到回归树
  $$\hat{f}(x)=f_M(x)=\sum _{m=1}^M\sum _{j=1}^J{c}_{mj}I(x\in R_{mj})$$