随机森林总结

最新推荐文章于 2024-04-09 16:09:09 发布

原创最新推荐文章于 2024-04-09 16:09:09 发布 · 712 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#随机森林 #机器学习

机器学习专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍随机森林算法的构建过程及特点。使用有放回抽样方法构建每棵树的训练集，并从所有特征中随机选取部分特征来确定节点的决策结果。随机森林无需剪枝，通过多棵树的投票或平均值来确定最终结果。

                    
                    随机森林总结

流程

用N来表示训练用例（样本）的个数，M表示特征数目
对于每棵树的构建，通过有放回的抽样，取样N次， 

形成一个训练集（即bootstrap取样），并用未抽到的用例（样本）作预测，评估其误差。
对于所有树中的每个节点的构建，从M个特征中随机选择m个（m应远小于M,根据Leo Breiman的建议，假设总的特征数量为M，这个比例可以是sqrt(M),1/2sqrt(M),2sqrt(M)）用于确定决策树上一个节点的决策结果
树不需要进行剪枝
按上述的方法构建多个树。
将生成的多棵决策树组成随机森林。对于分类问题，按多棵树分类器投票决定最终分类结果；对于回归问题，由多棵树预测值的均值决定最终预测结果

小结：

每棵树的训练集通过有放回的抽样N个组成
每个节点的候选属性从特征集中无放回的取m个组成