Python机器学习笔记（五、决策树集成）

集成（ensemble）是合并多个机器学习模型来构建更强大模型的方法。这里主要学习两种集成模型：一是随机森林（random forest）；二是梯度提升决策树（gradient boosted decision tree）。

1. 随机森林

决策树的主要缺点是对训练数据过拟合。随机森林是解决这个 问题的一种方法。

随机森林本质上是决策树的集合，每棵树都和其他树略有不同。背后的思想是，每棵树的预测可能都相对较好，但可能对部分数据过拟合， 如果构造很多树，并且每棵树的预测都很好，但都以不同的方式过拟合，那么可以对这些树的结果取平均值来降低过拟合。既能减少过拟合又能保持树的预测能力，这可以在数学上严格证明。

随机森林的名字的由来是因为需要将随机性添加到树的构造过程中，确保每棵树都各不相同。随机化方法有两种：一种是通过选择用于构造树的数据点，另一种是通过选择每次划分测试的特征。

构造随机森林：构造的树的个数（RandomForestRegressor 或 RandomForestClassifier 的 n_estimators 参数）。比如我们想要构造5棵树。这些树在构造时彼此完全独立