机器学习树模型——随机森林和AdaBoost

介绍

随机森林（Random Forest）是集成学习的代表作，同时又是以bagging为基础的加法模型。随机森林在以决策树为基学习器构建bagging的基础上，进一步在决策树的训练过程中引入了随机属性的选择。

集成学习

集成学习（Ensemble Learning）通过构建多个弱分类器组合成一个强分类器来完成学习任务，几种机器学习技术组合成一个预测模型的元算法，以达到减小方差（bagging）、偏差（boosting）或改进预测（stacking）的效果。这里介绍前两种集成方法。

Bagging (bootstrap aggregating，装袋)

Bagging即套袋法，先说一下bootstrap，bootstrap也称为自助法，它是一种有放回的抽样方法，目的为了得到统计量的分布以及置信区间，其算法过程如下：

 1. 从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本
(在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，
得到k个训练集。（k个训练集之间是相互独立的）
 2. 每次使用一个训练集得到一个模型，k个训练集共得到k个模型。
 3. 对分类问题：将上步得到的k个模型采用投票的方式得到分类结果；对回归问题，
计算上述模型的均值作为最后的结果。

Bagging采用的采样方法是有放回的抽样方法，那么样本在k次采样中始终不会被采到的概率为$(1-\frac{1}{n}{)}^k$，取极限后可得样本有