14、机器学习集成方法与Scikit - learn实战

机器学习集成方法与Scikit - learn实战

1. 随机森林（Random Forest）

随机森林是对装袋集成算法（也称为自助聚合）的改进。装袋算法通过从训练数据集中重复选择随机样本（自助采样）来创建大量完全生长的决策树，然后对这些树的结果进行平均以平滑方差。

随机森林在此基础上，在每次树分裂时仅使用训练数据集中特征的一个子集。这样做使得随机森林创建的树的平均值更稳健，且不易出现高方差。装袋和随机森林的主要区别在于分裂特征空间或构建树时特征的选择。装袋使用数据集中的所有特征，而随机森林对特征数量施加约束，每次树分裂仅使用特征的一个子集以减少每个子树的相关性。经验上，使用随机森林时每次树分裂的特征大小是原始预测变量数量的平方根。

1.1 随机森林预测

使用随机森林进行预测时，将测试示例传递给每个训练好的决策树。对于回归问题，通过取不同树的输出平均值来对新示例进行预测；对于分类问题，预测结果是森林中所有其他树投票最多的类别。

1.2 使用Scikit - learn实现随机森林

1.2.1 随机森林分类

# import packages
from sklearn.ensemble import RandomForestClassifier
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# load dataset
dat