08_提升方法Boosting1_统计学习方法

提升方法内容较多，方便阅读，分成2个部分
下接：08_提升方法Boosting2_统计学习方法，主要讲解GBDT

一、Boosting和集成学习介绍

提升(Boosting)方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。如果把这个思想再拓展下，也就是约束的条件更少些的话，将引出集成学习思想，训练若干个体学习器，通过一定的结合策略，最终形成一个强学习器。在详细讲解boosting之前，介绍下集成学习。集成学习模型如下图：

强可学习：在概率近似正确（probably approximately correct，PAC）学习的框架中，一个概念（一个类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么称这个概念是强可学习的。

弱可学习：一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机猜测略好，那么称这个概念是弱可学习的。

强可学习和弱可学习：Schapire证明了强可学习与弱可学习是等价的，也就是说，在PAC学习的框架下，一个概念是强可学习的充要条件是这个概念是弱可学习的。

弱学习到强学习：将“弱学习”提升为“强学习”，弱学习算法通常比强学习算法容易得多。具体如何实施提升，便是集成学习要解决的问题。

Boosting是一种基学习器同质，串行生成个体学习器的集成学习方法。Boosting就是从弱学习算法出发，反复学习，得到一系列弱分类器（又称为基学习器），然后组合这些弱学习器，构成一个强学习器。大多数的Boosting都是改变训练数据的概率分布（训练数据的权重分布），针对不同的训练数据分布，调用弱学习算法学习一系列弱学习器。这里就有两个问题。

• （1）在每一轮如何改变训练数据的权值或概率分布？
• （2）如何将弱学习器组合成一个强学习器？

下面以具体算法对Boosting进行具体说明。

二、AdaBoost

1、AdaBoost算法

关于第1个问题，AdaBoost的做法是，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。这样一来，那些没有得到正确分类的数据，由于其权值的加大而受到后一轮弱分类器的更大关注。于是，分类问题被一系列的弱分类器“分而治之”。

关于第2个问题，即弱分类器的组合，AdaBoost采取的是加权投票法，即线性组合构建最终的分类器。具体地，加大分类误差率小的弱分类器的权值，使其在投票中起较大的作用，减小分类误差率大的弱分类器的权值，使其在投票中起较小的作用。

（1）AdaBoost算法的三要素

• 模型：加法模型，最终的强分类器是若干个弱分类器加权平均而得到的，基学习器类别不定。
• 策略：极小化加法模型的指数损失。
• 算法：前向分步学习算法，我们的算法是通过一轮轮的弱分类器学习，每一轮选择加权训练数据分类误差率最小的弱分类器，利用前一个弱分类器的结果来更新后一个弱分类器的训练集权重。

（2）AdaBoost模型定义

根据AdaBoost的模型，我们可以定义AdaBoost的最终分类器为：
$$G(x)=sign(f(x))=sign\left(\sum _{m=1}^M{\alpha }_m{G}_m(x)\right)\text{\hspace{1em}(1)}$$

• $G_m(x)$为第m个弱分类器，$m=1,2,\cdots ,M$
• ${\alpha }_m$为第m个弱分类器的权重系数

下图显示通过将弱学习器加权组合就能生成具有复杂边界的强学习器

（3）AdaBoost损失函数定义

根据分类器的定义，可以得到第$m-1$轮的强分类器为：
$$f_{m-1}(x)=\sum _{i=1}^{m-1}{\alpha }_i{G}_i(x)$$
后一轮的权重系数是根据上一轮的强分类器学习情况得出的，则能得到第$m$轮权重系数${\alpha }_m$。

在第$m$轮的弱分类器为$G_m(x)$，则强分类器为：
$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)\text{\hspace{1em}(2)}$$

则有第$m$轮的强分类器$f_m(x)$在训练数据集$T$上的指数损失函数为：
$$\begin{array}{rlr}arg& \min \sum _{i=1}^{N}exp[-y_i{f}_m(x_i)]& \\ =& \min \sum _{i=1}^{N}exp[-y_i(f_{m-1}(x_i)+{\alpha }_m{G}_m(x_i))]& (3)\\ =& \underset{\alpha ,G}{\min }\sum _{i=1}^N{\bar{w}}_{m,i}exp[-{\alpha }_m{y}_i{G}_m(x_i))]& (4)\end{array}$$

• ${\bar{w}}_{m,i}=exp[-y_i{f}_{m-1}(x_i)]$
• 因为${\bar{w}}_{m,i}$既不依赖${\alpha }_m$也不依赖于$G_m(x)$，所以在第$m$轮求最小化时可以当作固定值看待。这也解释了为什么可以使用前向分步算法作为优化求解算法。
• ${\bar{w}}_{m,i}$依赖于$f_{m-1}(x_i)$，随着每一轮迭代而发生变化。

（4）AdaBoost采用指数损失的原因

这部分内容来自博客集成学习之Boosting —— AdaBoost原理。

若将指数损失表示为期望值的形式：
$$E(e^{-yf(x)}|x)=P(y=1|x)e^{-f(x)}+P(y=-1|x)e^{f(x)}$$
由于是最小化指数损失，则将上式求导并令其为0：
$$\frac{\partial E(e^{-yf(x)}|x)}{\partial f(x)}=-P(y=1|x)e^{-f(x)}+P(y=-1|x)e^{f(x)}=0$$

$f(x)=\frac{1}{2}ln\frac{P(y=1|x)}{P(y=-1|x)}$，或写成$P(y=1|x)=\frac{1}{1+e^{-2f(x)}}$
仔细看，这不就是logistic regression吗？二者只差系数$\frac{1}{2}$，因此每一轮最小化指数损失其实就是在训练一个logistic regression模型，以逼近对数几率 (log odds)。
于是：
$$\begin{array}{rl}sign(f(x))& =sign(\frac{1}{2}ln\frac{P(y=1|x)}{P(y=-1|x)})\\ & =\{\begin{array}{ll}1,& P(y=1|x)>P(y=-1|x)\\ -1,& P(y=1|x)<P(y=-1|x)\end{array}\end{array}$$
所以最小化$E(e^{-yf(x)}|x)$就相当于 a r g   max ⁡ y ∈ { − 1 , + 1 } P ( y ∣ x ) arg\space \max_{y\in \{-1,+1\}} P(y|x) arg maxy∈{−1,+1}​P(y∣x)，表明指数化损失函数也是能正确代替0-1损失函数作为优化目标。

这意味着$sign(f(x))$达到了贝叶斯最优错误率，即对于每个样本$x$都选择后验概率最大的类别。若指数损失最小化，则分类错误率也将最小化。这说明指数损失函数是分类任务原本0-1损失函数的一致性替代函数。由于这个替代函数是单调连续可微函数，具有更好的数学性质，因此用它代替0-1损失函数作为优化目标。

（5）第m轮的最优求解

1）求最优G_m

${\alpha }_m$为第m个弱分类器的权重系数，这个参数的选择遵循的原则是，基分类器的学习效果越好权重占比会越大。第$m$个基分类器$G_m(x)$的最优选择是跟第$m-1$轮学习完更新后的权值的训练数据有关。所以可以先计算$G_m^{\ast }(x)$，并且任意${\alpha }_m>0,{\bar{w}}_{m,i}>0$，对于实际操作中若出现${\alpha }_m\le 0$的弱分类器则需要舍去。至于为什么舍去，把${\alpha }_m$计算出来意义就明了了。

$$\begin{array}{rlr}{G}_m^{\ast }(x)& \equiv arg\underset{G}{\min }\sum _{i=1}^N{\bar{w}}_{m,i}exp[-{\alpha }_m{y}_i{G}_m(x_i))]& \\ & =\sum _{y_i=G_m(x_i)}{\bar{w}}_{m,i}{e}^{-{\alpha }_m}+\sum _{y_i\ne G_m(x_i)}{\bar{w}}_{m,i}{e}^{{\alpha }_m}& \\ & =e^{-{\alpha }_m}\left(\sum _{y_i=G_m(x_i)}{\bar{w}}_{m,i}+\sum _{y_i\ne G_m(x_i)}{\bar{w}}_{m,i}{e}^{2{\alpha }_m}\right)& \\ & =e^{-{\alpha }_m}\left(\sum _{i=1}^N{\bar{w}}_{m,i}-\sum _{y_i\ne G_m(x_i)}{\bar{w}}_{m,i}+\sum _{y_i\ne G_m(x_i)}{\bar{w}}_{m,i}{e}^{2{\alpha }_m}\right)& \\ & =e^{-{\alpha }_m}\left(\sum _{y_i\ne G_m(x_i)}{\bar{w}}_{m,i}(e^{2{\alpha }_m}-1)+\sum _{i=1}^N{\bar{w}}_{m,i}\right)& (5)\end{array}$$

因为${\alpha }_m>0$，所以：
$$e^{-{\alpha }_m}>0,e^{2{\alpha }_m}>1$$

固定${\alpha }_m$，可得式（5）等价于：

$$G_m^{\ast }(x)=arg\underset{G}{\min }\sum _{i=1}^N{\bar{w}}_{m,i}I(y_i\ne G_m(x_i))\text{\hspace{1em}(6)}$$

此分类器$G_m^{\ast }(x)$即为AdaBoost算法的第$m$轮基分类器，因为它是使第$m$轮加权训练数据分类误差率最小的基本分类器。

2）求最优α_m

$$\begin{array}{rl}{\alpha }_m^{\ast }& \equiv arg\underset{{\alpha }_m}{\min }\sum _{i=1}^N{\bar{w}}_{m,i}exp[-{\alpha }_m{y}_i{G}_m^{\ast }(x_i))]\\ & =\sum _{y_i=G_m^{\ast }(x_i)}{\bar{w}}_{m,i}exp(-{\alpha }_m)+\sum _{y_i\ne G_m^{\ast }(x_i)}{\bar{w}}_{m,i}exp({\alpha }_m)\\ & =(e^{{\alpha }_m}-e^{-{\alpha }_m})\sum _{i=1}^N{\bar{w}}_{m,i}I(y_i\ne G_m^{\ast }(x_i))+e^{-{\alpha }_m}\sum _{i=1}^N{\bar{w}}_{m,i}\end{array}\text{\hspace{1em}(7)}$$

上式对${\alpha }_m$求导并使导数为0，即得到最优的${\alpha }_m^{\ast }$：
$${\alpha }_m^{\ast }=\frac{1}{2}ln\frac{{\sum }_{y_i=G_m^{\ast }(x_i)}{\bar{w}}_{m,i}}{{\sum }_{y_i\ne G_m^{\ast }(x_i)}{\bar{w}}_{m,i}}=\frac{1}{2}ln\frac{{\sum }_{y_i=G_m^{\ast }(x_i)}{w}_{m,i}}{{\sum }_{y_i\ne G_m^{\ast }(x_i)}{w}_{m,i}}=\frac{1}{2}ln\frac{1-e_m}{e_m}\text{\hspace{1em}(8)}$$
其中$e_m$：
$$e_m=\frac{{\sum }_{i=1}^N{\bar{w}}_{m,i}I(y_i\ne G_m^{\ast }(x_i))}{{\sum }_{i=1}^N{\bar{w}}_{m,i}}=\sum _{i=1}^N{w}_{m,i}I(y_i\ne G_m^{\ast }(x_i))\text{\hspace{1em}(9)}$$

• 规一化$w_{m,i}=\frac{{\bar{w}}_{m,i}}{{\sum }_{i=1}^N{\bar{w}}_{m,i}}$
• $e_m$为第$m$轮基分类器的分类误差率
• ${\alpha }_m^{\ast }$为第$m$轮基分类器的权重系数
• 根据式（8）现在解释下为什么不能${\alpha }_m\le 0$，因为此时$e_m\ge 0.5$,如果误差率大于等于0.5，则表示这个基分类器还不如随机预测的结果（二分类），如果加入到最终分类器中会严重影响分类器的性能，所以必须抛弃该弱分类器。

3）更新训练数据集的权值分布

所以可以求得第$m+1$轮的训练数据集的权值分布${\bar{w}}_{m+1,i}$：

$${\bar{w}}_{m+1,i}=exp[-y_i{f}_m(x_i)]=exp[-y_i(f_{m-1}(x_i)+{\alpha }_m^{\ast }{G}_m^{\ast }(x))]={\bar{w}}_{m,i}exp[-{\alpha }_m^{\ast }{y}_i{G}_m^{\ast }(x_i)]$$

在实际使用的时候会对${\bar{w}}_{m+1,i}$规范化，也就是归一化：

$$\begin{array}{rl}{w}_{m+1,i}& =\frac{{\bar{w}}_{m+1,i}}{{\sum }_{i=1}^N{\bar{w}}_{m+1,i}}=\frac{{\bar{w}}_{m,i}exp[-{\alpha }_m^{\ast }{y}_i{G}_m^{\ast }(x_i)]}{{\sum }_{i=1}^N{\bar{w}}_{m,i}exp[-{\alpha }_m^{\ast }{y}_i{G}_m^{\ast }(x_i)]}=\frac{w_{m,i}\left({\sum }_{i=1}^N{\bar{w}}_{m,i}\right)exp[-{\alpha }_m^{\ast }{y}_i{G}_m^{\ast }(x_i)]}{{\sum }_{i=1}^N{w}_{m,i}\left({\sum }_{i=1}^N{\bar{w}}_{m,i}\right)exp[-{\alpha }_m^{\ast }{y}_i{G}_m^{\ast }(x_i)]}\\ & =\frac{w_{m,i}exp[-{\alpha }_m^{\ast }{y}_i{G}_m^{\ast }(x_i)]}{{\sum }_{i=1}^N{w}_{m,i}exp[-{\alpha }_m^{\ast }{y}_i{G}_m^{\ast }(x_i)]}=\frac{w_{m,i}}{Z_m}exp[-{\alpha }_m^{\ast }{y}_i{G}_m^{\ast }(x_i)]\\ & =\{\begin{array}{ll}\frac{w_{m,i}}{Z_m}{e}^{-{\alpha }_m^{\ast }},& y_i=G_m^{\ast }(x_i)\\ \frac{w_{m,i}}{Z_m}{e}^{{\alpha }_m^{\ast }},& y_i\ne G_m^{\ast }(x_i)\end{array}\end{array}\text{\hspace{1em}(10)}$$
这里，$Z_m$是规范因子
$$Z_m=\sum _{i=1}^N{w}_{m,i}exp[-{\alpha }_m^{\ast }{y}_i{G}_m^{\ast }(x_i)]\text{\hspace{1em}(11)}$$

• 初始化时$w_{1,i}=\frac{1}{N}$，即每个样本同等重要，N为样本数量。
• 根据式（10）可以看出对于某个样本如果第$m$轮分类正确，第$m+1$轮的w相比于本轮缩小$e^{{\alpha }_m^{\ast }}$倍；如果分类错误，第$m+1$轮的w相比于第$m$轮放大$e^{{\alpha }_m^{\ast }}$倍。由于${\bar{w}}_{m,i}=exp[-y_i{f}_{m-1}(x_i)]$，损失函数$\min {\sum }_{i=1}^{N}exp[-y_i{f}_m(x_i)]=\min {\sum }_{i=1}^N{\bar{w}}_{m,i}exp[-{\alpha }_m{y}_i{G}_m(x_i))]$，也就是说第$m-1$轮某个样本的强分类器损失值就是第$m$轮中该样本的占训练数据的权值。损失值越大，下一轮优化的时候占有的权重越大。

（6）AdaBoost正则化 (Regularization)

1）Shrinkage

为了防止AdaBoost过拟合，我们通常也会加入正则化项，这个正则化项我们通常称为步长(learning rate)。定义为$\nu$,对于前面的弱学习器的迭代:
$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$

如果加上正则化项，则有
$$f_m(x)=f_{m-1}(x)+\nu {\alpha }_m{G}_m(x)$$
$\nu$的取值范围为$0<\nu \le 1$。对于同样的训练集学习效果，较小的$\nu$意味着需要更多的弱学习器的迭代次数。通常用步长和迭代最大次数一起来决定算法的拟合效果。

2）Early stopping

将数据集划分为训练集和测试集，在训练过程中不断检查在测试集上的表现，如果测试集上的准确率下降到一定阈值之下，则停止训练，选用当前的迭代次数M，这同样是防止过拟合的手段。

2、AdaBoost二分类问题算法流程

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ R n ,   y i ∈ { − 1 , + 1 } x_i \in {\bf R}^n,\space y_i \in \{-1,+1\} xi​∈Rn, yi​∈{−1,+1}；弱学习算法；

输出：最终分类器$G(x)$。

（1）初始化训练数据的权值分布
$$D_1=(w_{11},\cdots ,w_{1i},\cdots ,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,\cdots ,N\text{\hspace{1em}(12)}$$
初始化时假设训练数据具有均匀的权值分布，即每个训练样本在基本分类器的学习中作用相同。

（2）对$m=1,2,\cdots ,M$

• （a）使用具有权值分布$D_m$的训练数据集学习，得到基本分类器
  G m ( x ) : X ⟶ { − 1 , + 1 } G_m(x):{\bf X}\longrightarrow \{-1,+1\} Gm​(x):X⟶{−1,+1}
• （b）计算$G_m(x)$在训练数据集上的分类误差率
  $$e_m=P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{m,i}I(G_m(x_i)\ne y_i)\text{\hspace{1em}(13)}$$
  其中$w_{m,i}$就是根据上一轮分类预测情况更新后的训练数据权重。
• （c） 计算$G_m(x)$的系数
  $${\alpha }_m=\frac{1}{2}ln\frac{1-e_m}{e_m}\text{\hspace{1em}(14)}$$
• （d）更新训练数据集的权值分布
  $$D_{m+1}=(w_{m+1,1},\cdots ,w_{m+1,i},\cdots ,w_{m+1,N})\text{\hspace{1em}(15)}$$
  $$w_{m+1,i}=\frac{w_{m,i}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i))\text{\hspace{1em}(16)}$$
  这里，$Z_m$是规范因子
  $$Z_m=\sum _{i=1}^N{w}_{m,i}exp(-{\alpha }_m{y}_i{G}_m(x_i))\text{\hspace{1em}(17)}$$

它使$D_{m+1}$成为一个概率分布。

（3）构建基本分类器的线性组合
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)\text{\hspace{1em}(18)}$$
得到最终分类器
$$G(x)=sign(f(x))=sign\left(\sum _{m=1}^M{\alpha }_m{G}_m(x)\right)\text{\hspace{1em}(19)}$$

在学习AdaBoost的时候如果按教材的顺序一开始直接上AdaBoost算法流程，会有以下四个疑问：

• 1）分类误差率$e_m$为什么是这样计算？
• 2）弱学习器权重系数${\alpha }_m$为什么是这样计算？
• 3）训练数据集的权值分布$D_{m+1}$为什么是这样计算？
• 4）基本分类器为什么采用加权投票法结合策略？

后来看到第3节发现有对AdaBoost算法的解释，所以颠倒了下顺序。对于一个不熟悉的算法，从算法的三要素去了解就能知其大概。

AdaBoost算法的优缺点

主要优点：

• 1）Adaboost作为分类器时，分类精度很高
• 2）在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活。
• 3）作为简单的二元分类器时，构造简单，结构可理解。
• 4）不容易发生过拟合

主要缺点：

• 1）对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性

3、前向分步算法

一种求解损失函数的最优化方法，化整体为个体，简化求解过程。

考虑加法模型
$$f(x)=\sum _{i=1}^M{\beta }_{m}b(x;{\gamma }_m)$$

• $b(x;{\gamma }_m)$为基函数
• ${\gamma }_m$为基函数的参数
• ${\beta }_m$为基函数的系数
  在给定训练数据及损失函数$L(y,f(x))$的条件下，学习加法模型$f(x)$成为经验风险极小化即损失函数极小化问题：
  $$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L\left(y_i,\sum _{m=1}^M{\beta }_{m}b(x_i;{\gamma }_m)\right)\text{\hspace{1em}(20)}$$
  通常这是一个复杂的优化问题。前向分步算法求解这一优化问题的思想是：因为学习的是加法模型，如果能够从前往后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数式（20），那么就可以简化优化的复杂度。具体地，每步只需优化如下损失函数：
  $$\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L(y_i,\beta b(x_i;\gamma ))\text{\hspace{1em}(21)}$$

前向分步算法流程

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) T = \{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N) T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)；损失函数$L(y,f(x))$；基函数集 { b ( x ; γ ) } \{b(x;\gamma)\} {b(x;γ)}；

输出：加法模型$f(x)$。

（1）初始化$f_0(x)=0$

（2）对$m=1,2,\cdots ,M$

• （a）极小化损失函数
  $$({\beta }_m,{\gamma }_m)=arg\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta b(x_i.\gamma ))$$
  得到参数${\beta }_m,{\gamma }_m$
• （b）更新
  $$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x;{\gamma }_m)$$

（3）得到加法模型
$$f(x)=f_M(x)=\sum _{i=1}^M{\beta }_{m}b(x;{\gamma }_m)$$
这样，前向分步算法将同时求解从$m=1$到$M$所有参数${\beta }_m,{\gamma }_m$的优化问题简化为逐次求解各个${\beta }_m,{\gamma }_m$的优化问题。

4、AdaBoost算法的训练误差分析

AdaBoost最基本的性质是它能在学习过程中不断减少训练误差，即在训练数据集上的分类误差率。关于这个问题有下面的定理：

定理一（AdaBoost的训练误差界）AdaBoost算法最终分类器的训练误差界为：
$$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)\ne y_i)\le \frac{1}{N}\sum _{i}exp(-y_{i}f(x_i))=\prod _m{Z}_m\text{\hspace{1em}(22)}$$

证明：当$G(x_i)\ne y_i$时，$-y_{i}f(x_i)>0$，因而$exp(-y_{i}f(x_i))\ge 1$。由此直接推导出前半部分。

后半部分的推导要用到$Z_m$的定义：
$$w_{m,i}exp(-{\alpha }_m{y}_i{G}_m(x_i))=Z_m{w}_{m+1,i}$$
具体的推导过程就不写出，有兴趣可以参见李航统计学习方法本节内容。

定理二（二分类问题AdaBoost的训练误差界）：
$$\prod _{m=1}^M{Z}_m=\prod _{m=1}^M[2\sqrt{e_m(1-e_m)}]=\prod _{m=1}^M\sqrt{1-4{\gamma }_m^2}\le exp\left(-2\sum _{m=1}^M{\gamma }_m^2\right)\text{\hspace{1em}(23)}$$
这里，${\gamma }_m=\frac{1}{2}-e_m$

前半部分的推导要用到$Z_m$的定义：
$$Z_m=\sum _{i=1}^N{w}_{m,i}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$

至于不等式
$$\prod _{m=1}^M\sqrt{1-4{\gamma }_m^2}\le exp\left(-2\sum _{m=1}^M{\gamma }_m^2\right)$$
则可先由$e^x$和$\sqrt{1-x}$在点$x=0$的泰勒展开式推出不等式$\sqrt{1-4{\gamma }_m^2}\le exp(-2{\gamma }_m^2)$，进而得到。

泰勒公式：$f(x)$在$a$点的泰勒展开
$$f(x)=\sum _{i=1}^{n+1}\frac{f^{(i-1)}(a)}{(i-1)!}(x-a{)}^{(i-1)}+R_n(x)$$
其中$f^{(i-1)}(a)$为函数$f(x)$在a点的第$(i-1)$阶导数，$f^{(0)}(a)=f(a)$。

推论1 如果存在$\gamma >0$，对所有$m$有${\gamma }_m\ge \gamma$，则
$$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)\ne y_i)\le exp(-2M{\gamma }^2)\text{\hspace{1em}(24)}$$
这表明在此条件下AdaBoost的训练误差是以指数速率下降的。这一性质非常具有吸引力。

注意，AdaBoost算法不需要知道下界$\gamma$。

5、Adaboost回归问题的算法流程

回归问题与分类问题算法的不同点在于误差率计算的方式不同，分类问题一般都采用0/1损失函数，而回归问题一般都是平方损失函数或者是线性损失函数。

这一部分内容来自博客

AdaBoost回归算法变种很多，下面的算法为Adaboost R2回归算法过程。

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ R n ,   y i ∈ { − 1 , + 1 } x_i \in {\bf R}^n,\space y_i \in \{-1,+1\} xi​∈Rn, yi​∈{−1,+1}；弱学习算法，弱学习器迭代次数M；

输出：最终分类器$G(x)$。

（1）初始化训练数据的权值分布
$$D_1=(w_{11},\cdots ,w_{1i},\cdots ,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,\cdots ,N$$
初始化时假设训练数据具有均匀的权值分布，即每个训练样本在基本分类器的学习中作用相同。

（2）对$m=1,2,\cdots ,M$

• （a）使用具有权值分布$D_m$的训练数据集学习，得到基本分类器
  G m ( x ) : X ⟶ { − 1 , + 1 } G_m(x):{\bf X}\longrightarrow \{-1,+1\} Gm​(x):X⟶{−1,+1}
• （b）计算$G_m(x)$在训练数据集上的最大误差
  $$E_m=\max |y_i-G_m(x_i)|,i=1,2,\cdots ,N$$
• （c） 计算每个样本的相对误差：

如果是线性误差，则$e_{m,i}=\frac{|y_i-G_m(x_i)|}{E_m}$；
如果是平方误差，则$e_{m,i}=\frac{(y_i-G_m(x_i){)}^2}{E_m^2}$；
如果是指数误差，则$e_{m,i}=1-exp(\frac{-|y_i-G_m(x_i)|}{E_m})$

• （d）计算回归误差率
  $e_m={\sum }_{i=1}^N{w}_{m,i}{e}_{m,i}$
• （e）计算弱学习器的系数
  $${\alpha }_m=\frac{e_m}{1-e_m}$$
• （f）更新样本集的权重分布
  $$w_{m+1,i}=\frac{w_{m,i}}{Z_m}{\alpha }_m^{1-e_{m,i}}$$
  这里$Z_k$是规范化因子$Z_m={\sum }_{i=1}^N{w}_{m,i}{\alpha }_m^{1-e_{m,i}}$

（3）构建基学习器的线性组合${\sum }_{i=1}^M{\alpha }_m{G}_m(x)$，得到最终的强学习器：
$$G(x)=\sum _{i=1}^M(ln\frac{1}{{\alpha }_m})h(x)$$
其中，$h(x)$是所有${\alpha }_m{G}_m(x),m=1,2,\cdots ,M$的中位数。

三、GBDT算法

下接：08_提升方法Boosting2_统计学习方法

参考资料：

• 统计学习方法——李航
• 刘建平Pinard集成学习原理小结
• 刘建平Pinard梯度提升树(GBDT)原理小结
• 统计学习方法–提升方法adaBoost算法（集成学习）
• 第八章Boosting提升方法