Bagging和Boosting是两种集成学习方法。Bagging通过子抽样降低方差，防止过拟合，其典型应用是Random Forest。基模型为强模型，偏差小但方差可能限制准确度上限。Boosting则要求弱模型，通过增加模型数量提高期望，但过大的方差可能导致反向效果。Gradient Tree Boosting中，特征抽样能减少基模型相关性，降低方差。
- bagging的偏差和方差
对于bagging来说，每个基模型的权重等于1/m且期望近似相等（子训练集都是从原训练集中进行子抽样），故我们可以进一步化简得到：
根据上式我们可以看到，整体模型的期望近似于基模型的期望，这也就意味着整体模型的偏差和基模型的偏差近似。同时，整体模型的方差小于等于基模型的方差（当相关性为1时取等号），随着基模型数（m）的增多，整体模型的方差减少，从而防止过拟合的能力增强，模型的准确度得到提高。但是，模型的准确度一定会无限逼近于1吗？并不一定，当基模型数增加到一定程度时，方差公式第二项的改变对整体方差的作用很小，防止过拟合的能力达到极限，这便是准确度的极限了。另外，在此我们还知道了为什么bagging中的基模型一定要为强
最低0.47元/天 解锁文章
扫一扫
1472
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
