一天一个机器学习算法——Adaboost详解

Adboost是boosting（提升）方法中最具代表性的一种，在分类问题中，boosting通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。
对提升方法来说，有两个问题需要回答：一是在每一轮如何改变训练数据的权值或概率分布；二是如何将弱分类器组合成一个强分类器。关于第一个问题，Adaboost的做法是，提高那些在前一轮被分错的样本的权值，这样一来，那些没有得到正确分类的数据，由于其权值加大而受到后一轮的弱分类器的更大关注。第二个问题，Adaboost采用加权多数表决的方法。