Weka算法Classifier-tree-RandomForest源码分析（一）算法

RandomForest

一、算法介绍

RandomForest应该算是一个特别简单但是有效的算法，其核心思想是通过训练和组合不同的决策树，形成森林，最后的分类结果由这多棵树进行投票来决定。

在介绍RandomForest之前，首先介绍一下Tree Bagging

二、Bagging

Bagging又叫做Booststrap Aggregatiing，也是一种组合多个分类器来得到一个能力更强的分类器的方法，其训练过程分两步：

1、对训练集进行有放回的抽样N次，得到训练集的一个子集作为新训练集，并使用新的训练集训练基分类器。

2、重复上述过程M次，得到M个分类器。

分类过程如下：

对于任意一个新的用例，使用M个分类器进行分类，最后的分类结果由这M个分类器投票决定。

Bagging的显而易见的好处有如下几个：

1、可并行化，多个基分类器之间的训练没有任何相关。

2、防止过拟合，对于某些出现概率小的噪点，抽样过程中抽到的概率较小，训练出的基分类器不受噪点影响。

三、RandomForest

RandomForest在Bagging的基础上又做了改进，过程如下：

训练：

1、对训练集进行有放回的抽样N次，得到训练集的一个子集作为新训练集。

2、在新的训练集中随机抽出训练集的K个属性，训练一棵分类树，并且不对这个分类树做剪枝操作。

3、重复上述过程M次，得到M个分类器。

判定：

1、对于任意一个新的用例，使用M个分类器进行分类，最后的分类结果由这M个分类器投票决定。

可以看出，RandomForest在Bagging的基础上，主要是增加了随机抽出K个属性进行训练，从经验上来讲，假设属性总量为X，则要求K<<X，一般取K=sqrt(X)。

经过这样的改进，RandomForest又有了如下的一些优点：

1、可以处理高纬度的数据，显而易见，每次抽取K个属性进行训练，提高训练速度。

2、可以评估每个属性的重要程度，根据子分类树的精确度，就可以评估属性的重要程度。

3、对于属性的遗失，可以很好的处理，因为各子分类树构建在不同的属性之上，可以只挑选一部分可用的子分类树进行判定

参考资料：

http://baike.baidu.com/view/5021113.htm?fr=aladdin

http://blog.youkuaiyun.com/abcjennifer/article/details/8164315

http://en.wikipedia.org/wiki/Random_forest

http://www.cnblogs.com/wentingtu/archive/2011/12/13/2286212.html