集成学习（二）——Adboost

1. Adboost介绍

Adboost为集成学习中boosting方法的代表。
基本原理为：将多个弱分类器通过迭代的方法组合起来，形成一个强分类器。

2. 弱分类器

Adaboost一般使用单层决策树作为其弱分类器。单层决策树是决策树的最简化版本，只有一个决策点，也就是说，如果训练数据有多维特征，单层决策树也只能选择其中一维特征来做决策，并且还有一个关键点，决策的阈值也需要考虑.(个人理解为：二叉树)。

3.Adaboost的权重

Adaboost算法中有两种权重，数据的权重和弱分类器的权重。

3.1 数据权重

目的：在弱分类器预测之后，给数据分配新的权重，使预测错误的数据有更高的权重，得到更高的关注，提升下一次弱分类器分类的准确性。

3.2 分类器权重

目的： 决定弱分类器在最终决策时的权重。
Adaboost中，每个弱分类器都有各自最关注的点，每个弱分类器都只关注整个数据集的中一部分数据，所以它们必然是共同组合在一起才能发挥出作用。所以最终投票表决时，需要根据弱分类器的权重来进行加权投票，权重大小是根据弱分类器的分类错误率计算得出的，总的规律就是弱分类器错误率越低，其权重就越高。

4. 代码

https://github.com/px528/AdaboostExample