【机器学习】集成学习--随机森林（Random Forest）

1. 概述

RF = 决策树 + Bagging + 随机属性选择

2. 算法流程

1. 样本的随机：从样本集中用bagging的方式，随机选择n个样本。
2. 特征的随机：从所有属性d中随机选择k个属性（k<d），然后从k个属性中选择最佳分割属性作为节点建立CART决策树。
3. 重复以上两个步骤m次，建立m课CART决策树。
4. 这m课CART决策树形成随机森林，通过投票表决结果，决定数据属于哪一类。

3. 代码实现

注：数据集在文章末尾

from sklearn import tree
from sklearn.model_selection import trai