AdaBoost算法（AdbBoost Algorithm）—有监督学习方法、非概率模型、判别模型、非线性模型、非参数化模型、批量学习

定义

输入:训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$,其中， x i ∈ χ ⊆ R n , y i ∈ y = { − 1 , + 1 } x_i \in \chi\subseteq R^n, y_i \in {\tt y}=\{ -1,+1 \} xi​∈χ⊆Rn,yi​∈y={ −1,+1};弱学习算法;

输出:最终分类器$G(x)。$

(1)初始化训练数据的权值分布
$$D_1=({\omega }_{11},\cdots ,{\omega }_{1i},\cdots ,{\omega }_{1N}),{\omega }_{1i}=\frac{1}{N},i=1,2,\cdots ,N$$
(2)对$m=1,2,\cdots ,M$
      
(a)使用具有权值分布$D_m$的训练数据集学习，得到基本分类器
G m ( x ) : χ → { − 1 , + 1 } G_m(x): \chi \rightarrow \{ -1,+1 \} Gm​(x):χ→{ −1,+1}
      
(b)计算$G_m(x)$在训练数据集上的分类误差率
$$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{\omega }_{mi}I(G_m(x_i$$