随机森林算法详解与特征选择-优快云博客

1.随机森林介绍

随机森林是在建立在决策树之上的。只要明白了决策树的概念以及算法，那么随机森林就特别简单了。随机森林就是用多个决策树的结果来决定最终的结果，所以在训练过程中，我们会利用训练数据生成多个决策树。其算法的基本步骤如下：

（1）原始训练集为N，应用bootstrap法有放回地随机抽取k个新的自助样本集，并由此构建k棵分类树，每次未被抽到的样本组成了k个袋外数据；

（2）设有mall个变量，则在每一棵树的每个节点处随机抽取mtry个变量(mtry n mall)，然后在mtry中选择一个最具有分类能力的变量，变量分类的阈值通过检查每一个分类点确定；

（3）每棵树最大限度地生长, 不做任何修剪；

（4）将生成的多棵分类树组成随机森林，用随机森林分类器对新的数据进行判别与分类，分类结果按树分类器的投票多少而定。

第1步，我们具体做法是假如有N个数据，我们构建每个决策树的时候，只随机抽取其中的一部分数据，假如2/3，其余的1/3我们作为该随机树的袋外数据，也就是测试数据。至于有放回的抽取，是对于每个数据，可能在不同的决策树中都存在。

第2步，每棵树的每个节点，我们都随机抽取M个特征中的m(m<=M)个，利用这m个进行划分，具体的划分标准可以是信息增益熵，信息增益比，基尼指数这些指标；至于在同一颗树中，已经被选择过的特征在下个节点能不能再次被选择，好多地方都没说明。我觉得可以被选择，但是在子节点中计算相应的指标的时候，这个特征应该不会是最优的，因为已经根据他分过类了（个人理解）。随机森林的随机，就来自与以上的两个过程，每颗决策树其实都是对特定的数据进行学习归纳出分类方法，而随机取样可以保证有重复样本被不同决策树分类，这样就可以对不同决策树的分类能力做个评价。

第3步，因为我们每次用的不是全部的数据，并且是随机的，所以不容易出现过拟合的情况，也不用剪枝了。

第4步，我们在最终得到的模型上，用不同的决策树进行投票，然后得出最终的结果。应该得票最多的就是我们最终的分类结果。

其实这个思想和AdaBoost算法有点相似，当然只是在用多个模型决定最终模型的这个点上，其他还是不一样的。

2.随机森林进行特征选择

特征选择的本质就是，我们通过对模型中哪个特征对模型的影响大，说明这个就是主要的特征。这样的方法有很多，比如lasso，PCA等。具体的过程如下：

这是一个计算每个特征重要性的公式，ntree是随机森林中决策树的个数，errOOBt1是对每一颗决策树，相应的袋外数据（out of bag，OOB）计算袋外数据误差。随机对袋外数据OOB所有样本的特征X加入噪声干扰（可以随机改变样本在特征X处的值），再次计算袋外数据误差，记为errOOBt2。怎么解释这个公式？在原来决策树上，我们对于某个特征的使用都是最优的，当我们改变袋外数据的对应的特征的值的时候，如果误差改变大，说明该特征的值的变化对最终结果变化影响较大，说明是重要特征，反之就是不重要特征。