经典算法总结之AdaBoost与随机森林

AdaBoost

首先明确一个大方向：强可学习和弱可学习是等价的。所以，弱可学习方法可以提升为强可学习方法。AdaBoost最具代表性。

对于提升方法，有两个问题需要回答：

• 每一轮如何改变训练数据的权值或概率分布？
• 如何将弱分类器组合成一个强分类器？

AdaBoost的做法：

• 提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。
• 加权多数表决的方法，加大分类误差率小的弱分类器的权值，使其在表决中起较大作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。

不改变所给的训练数据，而不断改变训练数据权值的分布，使得训练数据在基本分类器的学习中起不同的作用，这就是AdaBoost的一个特点。总的来说，AdaBoost算法的步骤为：更新训练数据权值->在此权值上训练弱分类器（策略为最小化分类误差率）->计算分类误差率（误分类样本的权值之和）->计算分类器系数（要用到上一步的分类误差率）->更新训练权值->构建基本分类器的线性组合，一直循环，直到基本分类器的线性组合没有误分类点。

缺点：可理解性差。

推广：提升树

提升树是以分类树或回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一。
提升树利用加法模型与前向分布算法实现学习的优化过程。当损失函数是平方损失和指数损失函数时，每一步的优化是很简单的。但对一般损失函数而言，往往每一步优化并不那么容易。针对这一问题，有人提出了梯度提升