Adaboost

Boosting是一种贪心的自适应基展开算法。

基本思想：

——构造一个性能很高的预测是一件很困难的事情

——但是构造一个性能一般的预测并不困难。

Boosting就是基于上述观察结论，将一些弱规则组合得到最后一个强规则，这个最后的强规则比任何单个规则性能都高得多。

    Adaboost。它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。

    具体说来，整个Adaboost 迭代算法就3步：

1. 初始化训练数据的权值分布。如果有N个样本，则每一个训练样本最开始时都被赋予相同的权值：1/N。
   
2. 训练弱分类器。具体训练过程中，如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它的权值就被降低；相反，如果某个样本点没有被准确地分类，那么它的权值就得到提高。然后，权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。<