机器学习Boosting算法—AdaBoost前向分步解释

算法分析
  在Adaboost算法的示例解释中的算法流程中，给出了分类器权重、分类误差以样本权重的更新公式，这一部分从前向分步算法的角度来解释这些公式的由来。
1) 每个分类器的权重计算公式：

$$\alpha_{m}=\frac{1}{2}ln \frac{1-e_m}{e_m}$$
2）分类误差的计算公式
$$e_m=P(G_m(x_i) \neq y_i ) = \sum_{i=1}^{N}w_{mi}I(G_m(x_i) \neq y_i )$$
3）样本权重的更新公式
$$w_{m+1,i} = \frac{w_{mi}}{Z_m} e^{-\alpha_my_iG_m{x_i}},i=1,2,...N$$

2前向分步算法与Adaboost

  Adaboost算法其实可以认为是模型为加法模型，损失函数为指数函数，学习算法为前向分布算法的二分类学习方法。

1）加法模型

$$f(x)=\sum_{m=1}^{M}\beta b(x;\gamma_m)$$
2)指数损失函数&优化目标
$$L(y,f(x))=\sum_{i=1}^{N}exp(-yf(x))$$

minβm,γm∑i=1NL(yi,∑m=1mβmb(xi;γ<