机器学习-AdaBoost

AdaBoost算法：1）提高那些被前一轮弱分器错误分类样本的权值，降低正确分类样本的权值。2）加权多数表决：加大分类误差率小的弱分类器的权值，减小分类误差率大的弱分类器的权值。

AdaBoost算法的训练误差有上界：可以在每一轮选取适当的分类器，使训练误差下降最快。

AdaBoost具有适应性：即能适应弱分类器各自的训练误差率，这是它名字的由来。

AdaBoost算法的另一种解释：模型为加法模型，损失函数为指数函数，学习算法为前向分布算法时的二类分类算法。

提升树模型：提升方法实际采用加法模型（即基函数的线性组合）与前向分步算法。以决策树为基函数的提升方法称为提升树。

梯度提升：利用损失函数的负梯度作为回归问题提升树算法中残差的近似值。