机器学习算法之Bagging与RF详解

之前我们已经介绍过Boosting算法，是通过对训练集进行采样，产生不同的独立的子集，然后再训练出一个基学习器，通过集成可以得到一个泛化能力强的模型。但为了有更好的集成，我们希望个体学习器之间的差异不能太大，否则会因为每个学习器只用到了一小部分训练数据，不足以进行有效的学习。

因此，有必要考虑使用相互有交叠的采样子集。

Bagging

Bagging是并行式集成学习方法最著名的代表。是基于自主采样法（bootstrap sampling）进行采样，具体步骤如下：

1、在给定包含m个样本的数据集，先随机抽取一个样本放入采样集中，再把该样本放入初始数据集。使得下次采样时该样本仍然有可能被选中；

2、重复上述步骤，经过m次的随机采样操作，可以得到包含m个样本的采样集，在该训练集中有的样本多次出现，有的则从未出现。计算可知，初始训练集中的约有63.2%的样本出现在采样集中。

3、基于上述采样好的训练集训练m个基学习器，再将这些基学习器进行结合，在对预测输出进行结合的时候，Bagging通常对分类任务使用简单的投票法，对回归任务使用简单的平均法。

从偏差-方差分解的角度看，Bagging主要关注降低方差。

---

随机森林（Random Forest，RF）

随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。

组成结构：Bagging + 决策树 = 随机森林

随机森林具体如何构建呢？有两个方面：数据的随机性选取，以及待选特征的随机选取。

用bootstrap方法生成m个训练集，然后，对于每个训练集，构造一颗决策树，在节点找特征进行分裂的时候，并不是对所有特征找到能使得指标（如信息增益）最大的，而是在特 征中随机抽取一部分特征，在抽到的特征中间找到最优解，应用于节点，进行分裂

优点
1、具有极高的准确率
2、随机性的引入，使得随机森林不容易过拟合
3、随机性的引入，使得随机森林有很好的抗噪声能力
4、能处理很高维度的数据，并且不用做特征选择

---

Bagging与Boosting区别

样本选择上：Bagging采用的是Bootstrap随机有放回抽样；而Boosting每一轮的训练集是不变的，改变的只是每一个样本的权重。

样本权重：Bagging使用的是均匀取样，每个样本权重相等；Boosting根据错误率调整样本权重，错误率越大的样本权重越大。

预测函数：Bagging所有的预测函数的权重相等；Boosting中误差越小的预测函数其权重越大。

并行计算：Bagging各个预测函数可以并行生成；Boosting各个预测函数必须按顺序迭代生成