基础算法--随机森林

集成学习

例子：单独使用一个基学习器，会因为有数据错误而做出错误判断。集成学习就是，对一个事情做出判断，基学习器1使用LR，2使用KNN，3使用SVM，4使用DT，最后共同判断，如果90%判断事情应该是a，10%认为是b，那么就判断事情符合a。实质：三个臭皮匠，顶个诸葛亮。

bagging：n个决策树在一起判断
boosting：
staking：n种学习器一起判断

bagging和boosting用的比较多

1、分类问题：典型的DT（决策树）
2、回归问题：n个学习器得到的结果求均值
3、特征选取集成：有n个特征，但特征并不是越多越好，需要选取比较重要的特征（a.根据业务常识判断，b.根据random forest随机森林选取）

随机森林算法原理

随机森林定义、特点、优点

1、多个决策树放在一起就是随机森林：
a）分类问题：事件x，经过n个分类决策树（DT）判断，90%的结果认为x是0，10%认为是1，那么就认为这是1.
b）回归问题：事件x，经过n个回归决策树计算，得到n个函数，均值是结果

3、优点：并行、准确率高

随机森林生成步骤

每次从原始数据集中随机选取n%的训练数据，在训练时再随机选取m%的特征。

随机森林优缺点介绍

优点

缺点

代码实战

随机森林算法API文档解释

class sklearn.ensemble.RandomForestClassifier(n_estimators=’warn’, criterion=’gini’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=’auto’, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, bootstrap=True, oob_score=False, n_jobs=None, random_state=None, verbose=0, warm_start=False, class_weight=None)

随机森林重要的一些参数：
1.n_estimators :（随机森林独有）
随机森林中决策树的个数。
在0.20版本中默认是10个决策树；
在0.22版本中默认是100个决策树；
一般给100-500个
2. criterion :（同决策树）
节点分割依据，默认为基尼系数。
可选【entropy：信息增益】

3.max_depth：（同决策树）【重要】
default=（None)设置决策树的最大深度，默认为None。
【（1）数据少或者特征少的时候，可以不用管这个参数，按照默认的不限制生长即可
（2）如果数据比较多特征也比较多的情况下，可以限制这个参数，范围在10~100之间比较好】m

4.min_samples_split : (同决策树)【重要】
这个值限制了子树继续划分的条件，如果某节点的样本数少于设定值，则不会再继续分裂。默认是2.如果样吗本量不大，不需要管这个值。如果样本量数量级非常大，则建议增大这个值。

5.min_samples_leaf :(同决策树)【重要】
这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。 默认是1,可以输入最少的样本数的整数，或者最少样本数占样本总数的百分比。如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。
【叶是决策树的末端节点。 较小的叶子使模型更容易捕捉训练数据中的噪声。 一般来说，我更偏向于将最小叶子节点数目设置为大于50。在你自己的情况中，你应该尽量尝试多种叶子大小种类，以找到最优的那个。】
【比如，设定为50，此时，上一个节点（100个样本）进行分裂，分裂为两个节点，其中一个节点的样本数小于50个，那么这两个节点都会被剪枝】

6.min_weight_fraction_leaf : (同决策树)
这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝。 默认是0，就是不考虑权重问题。一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，就会引入样本权重，这时我们就要注意这个值了。【一般不需要注意】

7.max_features : (随机森林独有)【重要】
随机森林允许单个决策树使用特征的最大数量。选择最适属性时划分的特征不能超过此值。
当为整数时，即最大特征数；当为小数时，训练集特征数*小数；
if “auto”, then