AdaBoost算法笔记

参考：李航老师《统计学习方法》。主要是构造组合分类器，对样本执行分类任务。

针对训练数据，其中

（1）初始化各个训练数据的权重：

                                                         

（2）进行第次迭代运算：

   ① 对于具有权值分布的数据集进行第m次的训练学习(训练方法自定义)，得到基本分类器，使分类器在本次训练中的误差率尽可能低。

                                                                                    

   ② 求出分类器在训练数据集上的分类误差率：

                                                                     

即找出所有误分的样本，并由其加权误分情况构造误分率。

   ③ 计算该分类器构成组合分类器时的权值系数：

                                                                               

   ④ 更新第n个样本数据的权重便于下一次（第m+1次）时的学习，即更新：

                                                                  

   ⑤ 构造线性组合分类器，其由初始到目前的所有分类器线性构成：

                                                                             

   ⑥ 由sign(G(x))去判断样本，看是否全部分类正确。

（3）若执行（2）⑥后，所有的样本分类正确，则得到相应的分类器sign(G(x))。若不完全分类正确，则重复执行（2），直到所有样本分类正确。