Bagging决策树：Random Forests

1. 前言

随机森林 Random Forests (RF) 是由Breiman [1]提出的一类基于决策树CART的集成学习(ensemble learning)。论文 [5] 在121数据集上比较了179个分类器，效果最好的是RF，准确率要优于基于高斯核SVM和多项式LR。RF自适应非线性数据，不易过拟合，所以在Kaggle竞赛大放异彩，大多数的wining solution都用到了RF。

集成学习主要分为两大流派：Bagging与Boosting，两者在训练基分类器的思路截然不同：

• Bagging通过bootstrap sampling(有放回地取样)方式训练基分类器，每一个基分类器互不影响，但并不相互独立；
• Boosting则是通过重赋权(re-weighting)法迭代地训练基分类器，当前的样本权值的分布依赖于上一轮基分类器的分类结果；对于无法接受带权样本的基分类算法，则采用“重采样法”(re-sampling)来处理，即分错的样本在下一轮学习出现的次数会增加。

RF属于集成学习中的Bagging流派。若Bagging算法直接采用CART做基分类器，存在着一个问题：如果某些feature具有很强的预测性，