机器学习实战之利用AdaBoost元算法提高分类性能

利用AdaBoost元算法提高分类性能

元算法是对其他算法进行组合的一种方式。其背后的思路就像当做重要决定时，大家可能都会考虑吸取多个专家而不只是一个人的意见。利用元算法处理机器学习问题时就是采用
这种思路。

基于数据集多重抽样的分类器

将不同的分类器进行组合，这种组合结果被称为集成方法或者元算法。

使用集成方法时有多种形式：

• 不同算法的集成；
• 同一算法在不同设置下的集成；
• 数据集不同部分分配给不同分类器之后的集成。

AdaBoost优缺点：

• 优点：泛化错误率低，易编码，可以应用在大部分分类器上，无参数调整。
• 缺点：对离群点敏感
• 使用数据类型：数值型和标称型数据

bigging：基于数据随机重抽样的分类器构建方法

自汇聚法，也称为bagging方法，是从原始数据集选择S次后得到S个新数据集的一种技术。在S个数据集建好之后，将某个学习算法分别作用于每个数据集就得到了S个分类器。当
我们要对新数据进行分类时，就可以应用这S个分类器进行分类。与此同时，选择分类器投票结果最多的类别作为最后的分类结果。

boosting

boosting是通过集中关注被已有分类器错分的那些数据来获得新的分类器，boosting中的分类器权重并不相等，每个权重代表的是其对应分类器在上一轮迭代中的成功度。AdaBoost
是boosting中最流行的一个版本。

AdaBoost的一般流程

• 收集数据：可以使用任意方法
• 准备数据：依赖于所使用的弱分类器类型。作为弱分类器，简单分类器效果更好
• 分析数据：可以使用任意方法
• 训练算法：AdaBoost的大部分时间都用在训练上，分类器将多次在同一数据集上训练弱分类器
• 测试算法：计算分类的错误率
• 使用算法：同SVM一样，同AdaBoost预测二分类问题，如果想把它应用到多个类别，需对AdaBoost进行修改

训练算法：基于错误提升分类器的性能

AdaBoost是adaptive boosting(自适应boosting)的缩写，其运行过程如下：

• 训练数据中的每个样本，并赋予其一个权重，这些权重构成了向量D。一开始，这些权重都初始化成相等值。
• 首先在训练数据上训练出一个弱分类并计算该分类器的错误率，然后在同一数据集上再次训练弱分类器。
• 在分类器的第二次训练当中，将会重新调整每个样本的权重，其中第一次分对的样本的权重将会降低，而第一次分错的样本的权重将会提高。
• 为了从所有弱分类器中得到最终的分类结果，AdaBoost为每个分类器都分配了一个权重值alpha，这些alpha值是基于每个弱分类器的错误率进行计算的。
  ++ 其中，错误率$\varepsilon $的定义为：$\varepsilon = \frac{未正确分类的数目}{所有样本数目}$
  ++ 而alpha的计算公式如下：$\alpha =\frac{1}{2}ln($