分类&回归算法-随机森林

随机森林是由多个决策树组成的模型,适用于分类和回归任务。在分类中,通过多数表决确定样本类别;在回归中,以叶节点目标变量的加权均值作为预测值。算法特点包括随机采样和完全分裂,防止过拟合。决策树的构建涉及特征选择,如信息熵。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

随机森林顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决策树之间是没有关联的。随机森林可以用于分类和回归。
分类:
在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类,然后看看哪一类被选择最多,就预测这个样本为那一类。
回归:
在决策树的根部,所有的样本都在这里,此时树还没有生长,这棵树的残差平方和就是回归的残差平方和。然后选择一个变量也就是一个属性(feature),这个变量使得通过这个进行分类后的两部分的分别的残差平方和的和最小。然后在分叉的两个节点处,再利用这样的准则,选择之后的分类属性。一直这样下去,直到生成一颗完整的树。
回归树——预测值为叶节点目标变量的加权均值
分类树——某叶节点预测的分类值应是造成错判损失最小的分类值。
算法思想解释:
在上述中,这些决策树好比是臭皮匠,森林就是臭皮匠的聚集之地。在分类中,倘若臭皮匠大部分都决策出选择类别A(多数表决法),那么这就是最终的结果A(三个臭皮匠顶过一个诸葛亮)。
算法知识点:
决策树就是利用实例(instance)的特征,进行生成。决策树实际上是将空间用超平面进行划分的一种方法,每次分割的时候,都将当前的空间一分为二,需要信息熵的知识点。比如说下面的决策树:
这里写图片描述
在这里,x与y分别表示实例中的某个特征。

因此,在决策树中就涉及到了对特征的选取。
在建立每一棵决策树的过程中,有两点需要注意 - 采样与完全分裂。首先是两个随机采样的过程,random forest对输入的数据要进行行、列的采样。
对于行采样:bootstrap方式:采用有放回的方式,也就是在采样得到的样本集合中,可能有重复的样本。假设输入样本为N个,那么采样的样本也为

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值