本文探讨了集成学习中的Bagging、Boosting、Stacking和随机森林。随机森林通过随机选择样本和特征构建决策树，降低了方差，减少了过拟合风险。集成学习利用多个学习器的组合，弥补单个学习器的不足，如偏差和方差的问题。在随机森林中，n_estimators、n_jobs、max_depth等参数调整对模型性能有显著影响。
本文从互联网搬运，只用于本人学习记录。
集成学习优于单个学习器：
- 训练样本可能无法选择出最好的单个学习器，由于没法选择出最好的学习器，所以干脆结合起来一起用；
- 假设能找到最好的学习器，但由于算法运算的限制无法找到最优解，只能找到次优解，采用集成学习可以弥补算法的不足；
- 可能算法无法得到最优解，而集成学习能够得到近似解。比如说最优解是一条对角线，而单个决策树得到的结果只能是平行于坐标轴的，但是集成学习可以去拟合这条对角线。
偏差 & 方差：
偏差Bias：描述的是预测值和真实值之差。要想偏差表现的好，就需要复杂化模型，容易过拟合。
方差Variance：描述样本上训练出来的模型再测试集上的表现，要想方差表现的好，需要简化模型，容易欠拟合。
Bagging和Stacking中的基模型为强模型（偏差低、方差高），而Boosting中基模型为弱模型（偏差高，方差低）。
对于Bagging来说，整体模型的偏差与基模型近似，而随着模型的增加可以降低整体模型的方差，故其基模型需要为强模型；
对于Boosting来说
最低0.47元/天 解锁文章
扫一扫
653
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
