风火编程--机器学习之随机森林

最新推荐文章于 2022-12-10 20:59:26 发布

风火编程

最新推荐文章于 2022-12-10 20:59:26 发布

阅读量217

点赞数

CC 4.0 BY-SA版权

文章标签：机器学习随机森林

本文链接：https://blog.youkuaiyun.com/weixin_42620314/article/details/86655445

本文深入探讨了随机森林和极其随机森林两种集成学习算法，解析了它们如何通过集成大量决策树提升预测精度，特别是在数据准确性要求较高的场景中表现优异。随机森林通过随机选择训练样本、树的分裂及特征来构建模型，而极其随机森林则进一步引入随机特征和阈值进行节点划分，实现了高方差、低偏差的特点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

随机森林

描述
集成大量的决策树模型的集成学习算法.
每棵树的训练样本随机, 树的分裂(切分)随机, 特征选取随机
适用于数据准确度要求高的场景.树越多精准性越好.
可以使用集成学习和决策树的超参数.
极其随机森林的节点划分使用随机特征,随机阈值.不考虑信息熵,随机分割.高方差,低偏差.

接口
随机森林
RandomForestClassifier
RandomForestRegressor

from sklearn import datasets
from sklearn.ensemble import RandomForestClassifier
X,y = datasets.make_moons(n_samples=500, noise=0.3, random_state=123)

rf = RandomForestClassifier(n_estimators=500, random_state=123,oob_score=True)
rf.fit(X, y)
score = rf.oob_score_
print(score)

极其随机森林
ExtraTreeClassifier
ExtraTreeRegressor

from sklearn import datasets
from sklearn.ensemble import ExtraTreesClassifier
X,y = datasets.make_moons(n_samples=500, noise=0.3, random_state=123)

et_clf = ExtraTreesClassifier(
    n_estimators=500, bootstrap=True, max_leaf_nodes=16, random_state=123, oob_score=True)
et_clf.fit(X, y)
score = et_clf.oob_score_
print(score)