台大机器学习听课笔记---Random Forest 10-1

本文介绍了随机森林(RandomForest)的原理及优势,探讨了如何通过Bagging方式结合多个决策树(DecisionTree)来提高预测准确性和稳定性。文章强调了Bagging在特征选择和样本重采样方面的应用,并对比了其与传统决策树的区别。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


用Bagging的方式把一堆Decision Tree合起来---Random Forest


优点:


1. Bagging部分平行化,学习比较高效。

2. 继承了CART---DecisionTree的高效,继承了CART能处理多种class,多种特征(那几种?)。

3. 消除了CART对资料太敏感,容易overfit的缺陷。

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Bagging

1.  


1. 每次从总特征中选出一部分特征子集 ,即投影操作。

2. 特征子集基础上再re-sample,得到subspace,根据subspace里的特征进行切割,获得“小区”。

3. Bagging可以应用到除了CART外的其他算法中。    


2.



注:P为投影矩阵,X为特征矩阵。

1.,Pi为投影向量。

2.通常选择的投影方式

 即在Pi中只有相对较少个非零组成元素。(每次投影很少量的特征来进行切割)。

3.

4.每一次要做Branch的时候都用一次新的

Ps :1.random不仅存在于Bagging过程中,也存在于CART的每一次Branch中。

         2. Fun time:

Q:


A:


每次Branch过程和感知机比较类似。



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值