集成学习（三）：adaboost算法推导

adaboost概念(Adaptive Boosting)

AdaBoost的中文叫做自适应增强，由Yoav Freund和Robert Schapire在1995年提出。它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。adaboost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分布算法时的二类分类学习方法。具体算法如下（摘自统计学习方法）：

1. 初始化训练数据的权值分布
   $$D_1=(w_{11},...,w_{1i},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,...,N$$

2. 对m=1,2,…,M
   (a):使用具有权值分布$D_M$的数据集进行学习，得到基本分类器 G m ( x ) : X → { − 1 , + 1 } G_m(x):\mathcal{X} \to \{-1,+1\} Gm​(x):X→{ −1,+1}
   (b):计算$G_m(x)$在训练数据集上的分类误差率:
   $$e_m=P(G_m(x_i)̸=y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)̸=y_i)=\sum _{G_m(x_i)̸=y_i}{w}_{wi}$$

   (c ):计算$G_m(x)$的系数
   $${\alpha }_m=\frac{1}{2}ln\frac{1-e_m}{e_m}$$

   (d):更新数据集的权值分布
   $$D_{m+1}=(w_{m+1,1},...,w_{m+1,i},...,w_{m+1,N})$$

$$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i)),i=1,2,...,N$$

  其中$Z_M$是规范化因子，它使$D_{m+1}$成为一个概率分布。
Z m = ∑ i = 1 N w m i e x p ( − α m y i G m ( x i ) ) Z_m = \sum_{i=1}^Nw_{mi}exp(-\alpha_my_iG_m(x_i)) Zm​=i=1∑N​wmi​exp(−α