第八章 提升算法

>>>adaboost算法过程

 

 

>>>误差分析

>>>证明前向分布算法的损失函数为指数损失函数时等价于Adaboost算法

>>>梯度提升树的理解 

个人理解：

1）本质上梯度提升是让每次拟合时的损失函数减小，也即希望每次拟合后的真实值和预测值的残差减小。

2）每次决策树进行拟合时实际是对真实值和上一轮预测值的残差进行的拟合。GBDT采用负梯度的方法来作为残差的拟合。（注意负梯度只是残差的近似或者拟合，并不是真实的残差，只有一种特殊情况，当损失函数是平方损失函数时，此时的负梯度值刚好等于残差）

3）损失函数不同，对残差的拟合也即负梯度的计算方式不同，拟合初始值也不同，每个叶子节点值的计算方式不同。也即损失函数的不同，影响计算负梯度值也即残差、拟合初始值、叶子节点值。

4）首先根据损失函数计算拟合的初始值，然后根据损失函数计算负梯度值也即残差作为树的拟合目标，根据损失函数最小得到最佳的分类特征，最后根据损失函数计算最佳分类特征后的左右叶子节点值。第一棵树拟合完毕。然后继续计算负梯度值也即残差，选择分类特征，计算叶子节点值，进行第二棵树的拟合。

>>>梯度提升树的分叉策略：除使用启发式的策略（即MSE和MAE等），也可以选用梯度信息选择分叉特征。

>>>xgbosst算法理解

参考：

https://blog.youkuaiyun.com/v_JULY_v/article/details/81410574

>>>ligthgbm:

参考：  https://lightgbm.apachecn.org/#/docs/4?id=references

https://www.hrwhisper.me/machine-learning-lightgbm/

>>>catboost:

参考：

>>>stacking算法

参考：https://blog.youkuaiyun.com/maqunfi/article/details/82220115?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control