提升方法（上）AdaBoost

关于提升方法的 研究很多，有很多算法被提出。最具代表性的是AdaBoost算法（AdaBoost algorithm）。

提升方法就是从弱学习算法出发，反复学习， 得到一系列弱分类器（又称为基本分类器），然后组合这些弱分类器，构成一个强分类 器。

对提升方法来说，有两个问题需要回答：一是在每一轮如何改变训练数据的权 值或概率分布；二是如何将弱分类器组合成一个强分类器。关于第1个问题，AdaBoost的 做法是，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的 权值。这样一来，那些没有得到正确分类的数据，由于其权值的加大而受到后一轮的弱分 类器的更大关注。于是，分类问题被一系列的弱分类器“分而治之”。至于第2个问题，即 弱分类器的组合，AdaBoost采取加权多数表决的方法。具体地，加大分类误差率小的弱分 类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在 表决中起较小的作用。

算法解释：

输入数据有N个，每个数据对应1个权值参数wi.那么有N个训练数据有N个权值参数i∈1-n。集合记为D。 m指的是第m轮的迭代,m∈1-M。G代表分类器。

第(1)中，先把所有权值参数w设置为相同的。值为1/N。集合为D1.

AdaBoost反复学习基本分类器，在每一轮m＝1,2,…,M顺次地执行下列2-4步操 作。

第(2)步，用每一轮的权值分布Dm的训练数据集学习，得到基本分类器&