XGBoost学习笔记（3）

XGBoost公式推导

Adaboost

英文Adaptive Boosting（自适应增强）的缩写，它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器，同时，在每一轮加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。
算法流程：

1. 初始化训练数据的权值分布，如果有N个样本，则每一个训练样本最开始都被赋予相同的权重：1/N；

2. 训练弱分类器，具体训练过程中，如果某个样本已经被准确地分类，它的权重就被降低，相反，如果某个样本点没有被准确地分类，那么它的权重就得到提高，然后，权重更新后的样本集被用于训练下一个分类器，整个训练过程如此迭代下去；

3. 将各个训练得到的弱分类器组合成强分类器，各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小的决定作用，换言之，误差率低的弱分类器在最终的分类器中占的权重较大，否则较小。