超级会员免费看
本文深入探讨了机器学习中的集成学习方法，特别是Bootstrap和Boosting，强调了Boosting在降低偏差方面的优势。文章详细介绍了XGBoost（极端梯度提升）算法，包括其优化目标、损失函数、效率优化和健壮性提升。XGBoost通过二阶泰勒展开优化损失函数，提高预测准确性和计算速度。文章还讨论了XGBoost的并行计算、处理缺失值的方法以及与GBDT的区别，并提供了算法调参的指导，如学习率、正则化参数等。
人工智能-机器学习-有监督学习-集成学习方法（五）：Bootstrap-＞Boosting（提升）方法-＞eXtremeGradientBoosting算法--+决策树--＞XGBoost提升树
一、Bootstrap
Boostrap是靴子的带子的意思，名字来源于“pull up your ownboostraps”，意思是通过拉靴子提高自己，本来的意思是不可能发生的事情，但后来发展成通过自己的努力让事情变得更好。放在组合分类器这里，意思就是通过分类器自己提高分类的性能。
Boostrap只是提供了一种组合方法的思想，就是将基分类器的训练结果进行综合分析，而其它的名称如Bagging、Boosting是对组合方法的具体演绎。
Boostrap组合方法分为：Bagging算法与Boosting算法。
- Bagging的作用：降低“方差”；
- Boost的作用：降低“偏差”；
二、Boosting(提升)
- Boosting由弱分类器得到强分类器的过程：迭代优化：样本加权系数、分类器加权
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
