机器学习实战----AdaBoost

AdaBoost是自适应boosting的缩写，所谓的boosting通过集中关注已被已有分类器错分的那些数据来获得新的分类器。利用boosting分类的结果是基于所有分类器的加权求和的结果，因此boosting中的分类器权重并不相等，每个权重代表其对应分类器在上一轮迭代中的成功度。
这里说明一个类似的技术bagging自举汇聚法，即从原始数据集选择S次后，得到S个新数据集的一种技术。新数据集和原数据集的大小一样。即假设有一个大小为n的新数据集，该数据集中的每个样本都是在原始数据集中随机抽样得到，即抽取一个记录并放回，直到抽取n个，因此有可能有相同的几个样本。所得到新的S个新数据集后，就得到了S个分类器，当我们要对新数据进行分类时，就可以应用这S个分类器进行分类，无论bagging还是boosting，所使用的是同一类型的分类器。
AdaBoost使用原理：
e=未正确分类/所有的样本数目
计算出alpha后可以对权重向量D进行更新，使得那些正确分类的样本的权重降低而错分样本的权重高。