Adaboost算法解释

（3）Adaboost算法解释：
   AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分布算法时的二类分类学习方法。
   (i)前向分布算法
    考虑加法模型
   $$f(x)=\sum _{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$$
       其中，基函数：$b\left(x;{\gamma }_m\right)，$基函数参数：${\gamma }_m$，基函数的系数：${\beta }_m$。
    在给定训练数据集及损失函数$\mathrm{L}(\mathrm{y},\mathrm{f}(\mathrm{x}))$的条件下，学习加法模型f(x)成为经验风险最小化即损失函数最小化问题：
   $$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L\left(y_i,\sum _{m=1}^M{\beta }_{m}b\left(x_i;{\gamma }_m\right)\right)$$
    算法简化，如果能够从前向后，每一步只学习一个基函数及其系数，逐步逼近上式，及每步只优化损失函数：${\min }_{\beta ,\gamma }{\sum }_{i=1}^{N}L\left(y_i,\beta b\left(x_i;\gamma \right)\right)$
    前向分步算法的算法框架
       输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) … ( x N , y N ) } \mathrm{T}=\{(\mathrm{x} 1, \mathrm{y} 1),(\mathrm{x} 2, \mathrm{y} 2) \ldots(\mathrm{xN}, \mathrm{yN})\} T={(x1,y1),(x2,y2)…(xN,yN)}，损失函数$\mathrm{L}(\mathrm{y},\mathrm{f}(\mathrm{x}))$，基函数集 { b ( x ; γ ) } \{\mathrm{b}(\mathrm{x} ; \gamma)\} {b(x;γ)}。
       输出：加法模型$\mathrm{f}(\mathrm{x})$。
       算法步骤：
           初始化${\mathrm{f}}_0(\mathrm{x})=0$；
           对于$\mathrm{m}=1,2,\dots \mathrm{M}$
             极小化损失函数$\left({\beta }_m,{\gamma }_m\right)=\arg {\min }_{\beta ,\gamma }{\sum }_{i=1}^N\left(y_i,f_{m-1}\left(x_i\right)+\beta b\left(x_i;\gamma \right)\right)$，得到参数${\beta }_m{\gamma }_m$
             更新当前模型：$f_m(x)=f_{m-1}(x)+{\beta }_{m}b\left(x;{\gamma }_m\right)$
           得到加法模型：$f(x)=f_M(x)={\sum }_{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$
   (ii)前向分布算法和Adaboost算法
    Adaboost算法是前向分布算法的特例，这时，模型是基本分类器组成的加法模型，损失函数是指数函数。损失函数取$$L(y,f(x))=\exp (-yf(x))$$
    证明：
       假设经过m-1轮迭代，前向分步算法已经得到$\begin{array}{rl}{\mathrm{f}}_{\mathrm{m}-1}(\mathrm{x}):& f_{m-1}(x)=f_{m-2}(x)+{\alpha }_{m-1}{G}_{m-1}(x)\\ & ={\alpha }_1{G}_1(x)+\cdots +{\alpha }_{m-1}{G}_{m-1}(x)\end{array}$
       在第m轮迭代得到${\alpha }_m,G_m(x)$ 和 $f_m(x)$；
       目标是使前向分布算法得到的${\alpha }_m,G_m(x)$ 和 $f_m(x)$在训练数据集上损失最小，即$$\left({\alpha }_m,G_m(x)\right)=\arg \underset{\alpha ,G}{\min }\sum _{i=1}^N\exp \left(-y_i\left(f_{m-1}\left(x_i\right)+\alpha G\left(x_i\right)\right)\right)$$
       进一步：
   $$\left({\alpha }_m,G_m(x)\right)=\arg \underset{\alpha ,G}{\min }\sum _{i=1}^N{\bar{w}}_{mi}\exp \left(-y_i\alpha G\left(x_i\right)\right)$$
       其中，${\bar{w}}_{mi}=\exp \left(-y_i{f}_{m-1}\left(x_i\right)\right)$，${\bar{w}}_{mi}$既不依赖$\alpha$也不依赖G,但依赖于$f_{m-1}(x)$，所以每轮迭代都会发生变化。
        求基本分类器${\mathrm{G}}^{\ast }(\mathrm{x})$
        对于任意的$\alpha >0$,是上式最小的G(x)由下式得到：
$$G_m^{\ast }(x)=\arg \underset{G}{\min }\sum _{i=1}^N{\bar{w}}_{mi}I\left(y_i\ne G\left(x_i\right)\right)$$,          其中，${\bar{w}}_{mi}=\exp \left(-y_i{f}_{m-1}\left(x_i\right)\right)$
        权值计算：
       求权值：