weixin_43989326的博客

1. 集成学习概念组合多个弱模型得到一个更好的强模型2. 个体学习器概念 ​​​​​​​个体学习器集成学习的组成3. boosting和bagging ​​​​​​​个体学习器生成的方式有串行和并行两种，boosting算法是串行生成的代表算法，bagging是并行生成的代表算法4. 结合策略(平均法，投票法，学习法) ​​​​​​​平均法：对于预测任务，取各个学习器结果的平...

CART树 参考：https://blog.youkuaiyun.com/acdreamers/article/details/44664481算法原理 、损失函数 、sklearn参数、分裂结点算法 参考：https://blog.youkuaiyun.com/a819825294/article/details/51206410正则化 、对缺失值处理 、优缺点 参考：https://zhuanlan.z...

前向分布算法 从前想向后，每步只学习一个基函数及其系数，逐步逼近目标负梯度拟合 大牛Freidman提出了用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树。通过损失函数的负梯度来拟合，找到了一种通用的拟合损失误差的办法，这样无轮是分类问题还是回归问题，我们通过其损失函数的负梯度的拟合，就可以用GBDT来解决我们的分类回归问题。区别仅仅在于损失函数不同导致的负梯度不同而已...