随机森林总结

本文详细介绍随机森林算法的构建过程及特点。使用有放回抽样方法构建每棵树的训练集,并从所有特征中随机选取部分特征来确定节点的决策结果。随机森林无需剪枝,通过多棵树的投票或平均值来确定最终结果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

随机森林总结

流程

  1. 用N来表示训练用例(样本)的个数,M表示特征数目
  2. 对于每棵树的构建,通过有放回的抽样,取样N次,
    形成一个训练集(即bootstrap取样),并用未抽到的用例(样本)作预测,评估其误差。
  3. 对于所有树中的每个节点的构建,从M个特征中随机选择m个(m应远小于M,根据Leo Breiman的建议,假设总的特征数量为M,这个比例可以是sqrt(M),1/2sqrt(M),2sqrt(M))用于确定决策树上一个节点的决策结果
  4. 树不需要进行剪枝
  5. 按上述的方法构建多个树。
  6. 将生成的多棵决策树组成随机森林。对于分类问题,按多棵树分类器投票决定最终分类结果;对于回归问题,由多棵树预测值的均值决定最终预测结果

小结:

  1. 每棵树的训练集通过有放回的抽样N个组成
  2. 每个节点的候选属性从特征集中无放回的取m个组成
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值