从前向分步算法推导出AdaBoost

前向分步算法到AdaBoost

前向分步算法与AdaBoost有什么关系呢？除了都属于Boosting的模型，其实AdaBoost是当前向分步算法损失函数为指数损失时的特例。这篇就写一下推导的过程。

前向分步算法 Forward Stagewise Additive Modeling

---

1. 初始化$f_0(x) = 0$
2. 对于$m = 1,2,...,M$
   (a)

$$(\beta_m,\gamma_m) = \arg\min_{\beta,\gamma} \sum_{i=1}^N L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma))$$

(b)

$$f_m(x) = f_{m-1}(x) + \beta_m b(x;\gamma_m)$$

---

前向分步算法的步骤如上，其实我觉得应该翻译成前向分步累加模型更适合。因为最终的决策函数$f(x)$是由一系列的基函数$b(x;\gamma_m)$与相应的权值$\beta_m$累加起来的。前向分步指的是，最小化损失函数获取第$m$步的$\beta b(x;\gamma)$时不影响之前已经获取的参数$\gamma$与系数$\beta$。

对于回归问题，前向分步算法的损失函数可以选平方损失，即

$$L(y_i,f(x)) = (y_i - f(x))^2$$

所以有

$$L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma)) = (y_i - f_{m-1}(x_i) - \beta b(x_i;\gamma))^2 \\ = (r_{im} - \beta b(x_i;\gamma))^2$$

其中$r_{im}= (y_i - f_{m-1}(x_i))$，这可以理解成是当前模型的残差，为了获取 $\beta_m b(x;\gamma_m)$，也就是令其去拟合当前模型的残差。

而AdaBoost是个分类器，对于分类问题，平方损失就不太适合了。所以引入指数损失，即

$$L(y,f(x)) = exp(-y f(x))$$

基本的AdaBoost是一个二分类模型，令其基函数$b(x;\gamma)=G(x)$，所以有$G_m(x) \in \lbrace-1,1\rbrace$。
则在指数损失的基础上，就需要解决如下问题

(βm,Gm)=argminβ,G∑i=1Nexp[−yi(fm−1(xi)+