Extremely Randomized Trees(ExrRa Trees)

最新推荐文章于 2024-11-18 14:34:09 发布
转载 最新推荐文章于 2024-11-18 14:34:09 发布 · 4.6k 阅读 · 8
文章标签：

#算法

本文介绍了Extremely Randomized Trees (ExtRaTrees)，一种类似于随机森林的组合方法。它通过进一步增加决策树的随机性来提高预测性能和减少过拟合的风险。文章详细解释了ExtRaTrees与传统随机森林之间的区别。

Extremely Randomized Trees(ExrRa Trees)

今天打kaggle的泰坦尼克的时候，看到了这样一个算法：
ExtRa Trees是Extremely Randomized Trees的缩写，意思就是极度随机树。这是一种组合方法，与其说像决策树，实际上它更像随机森林。

与随机森林的相同点 ：1. bootstrap了样本。2. 随机选取了部分特征，来构造一个棵树。

我们知道随机森林是由很多个随机的决策树组成的，extra trees比随机森林更随机。

与随机森林的不同点：每棵决策树选择划分点的方式不同。对于普通决策树，每个特征都是根据某个标准(信息增益或者gini不纯)去进行划分，比如说一个数值特征的取值范围是0到100，当我们把这个特征划分为0-45，45-100的时候，效果最佳（从信息增益或者gini不纯的角度），决策树就会将45作为划分点；然后再按照某个标准来选择特征。而对于extra trees中的决策树，划分点的选择更为随机，比如一个数值特征的取值范围是0到100，我们随机选择一个0到100的数值作为划分点；然后再按照评判标准选择一个特征。

为什么极度随机树比随机森林更随机？这个极度随机的特性有什么好处？在训练阶段、极度随机数比随机森林快还是慢？
data+scenario+science+insight
07-05 4760
为什么极度随机树比随机森林更随机？这个极度随机的特性有什么好处？在训练阶段、极度随机数比随机森林快还是慢？ ExtRa Trees是Extremely Randomized Trees的缩写,意思就是极度随机树。极端随机树，简称ExtRa Trees，是一种集成机器学习算法。具体地说，它是一个决策树的集成学习方法，并与其他决策树集成算法相关，如bagging和随机森林（random forest）。 极度随机树比常规随机森林更具有随机性（Randomness），因为该模型在每次分..
【手把手机器学习入门到放弃】Random Forest && Extremely Randomized Trees参数全解析
yao09605的博客
11-14 2924
随机森林 Random Forest && Extremely Randomized Trees 多种树有利于提高分类准确率 随机森林 Random Forest 是在决策树的基础上进行两种随机 随机选取一个数据集的一个子集作为样本 随机选取部分特征或者全部特征作为待选择特征库 超随机树 Extremely Randomized Trees 在随机森林的基础上对分裂阀值进...
Classifier: Extra-Trees 与 Random Forest
weixin_43743533的博客
06-08 1104
Random Forest 与 Extra Trees
无涯教程-Python机器学习 - Extra Trees函数
无涯教程
08-28 508
在以下Python食谱中,我们将通过在Pima Indians糖尿病数据集上使用sklearn的ExtraTreesClassifier类来构建额外的树集成模型。在这里,我们正在构建150棵树木,这些树木的分裂点是从5个特征中选择的-在这种方法中,从训练数据集的样本中构建随机树...在这种方法中,从训练数据集的样本中构建随机树。上面的输出显示,我们的袋装额外树木分类器模型的准确性约为75.5％。现在,我们需要像之前的Example一样加载Pima糖尿病数据集-接下来,在以下脚本的帮助下构建模型-
极度随机树ExtraTreesClassifier
数据科学汇集
01-21 2万+
Extremely Randomized Trees Classifier(极度随机树) 是一种集成学习技术，它将森林中收集的多个去相关决策树的结果聚集起来输出分类结果。极度随机树的每棵决策树都是由原始训练样本构建的。在每个测试节点上，每棵树都有一个随机样本，样本中有k个特征，每个决策树都必须从这些特征集中选择最佳特征，然后根据一些数学指标(一般是基尼指数)来拆分数据。这种随机的特征样本导致多个不相关的决策树的产生。
Extra Trees（极端随机树，Extra Randomized Trees）
qq_40844444的博客
11-18 3790
• 从所有特征中随机选择一部分特征（数量由 max_features 决定），对于选出来的这些特征，分别随机生成划分阈值，然后基于这些随机生成的划分方案，根据不纯度衡量指标（如基尼系数用于分类任务）来确定最佳的特征及对应的划分阈值，进行节点划分，不断重复这个过程直到满足停止条件（比如树达到最大深度、节点样本数小于某个阈值等），构建出一棵完整的决策树。构建多棵这样的决策树，对于新的数据样本进行预测时，通过综合多棵树的预测结果（比如分类任务中常用投票机制，回归任务中常用平均机制）来得到最终的预测值。
Opencv2.4.9源码分析——Extremely randomized trees
赵春江的专栏
06-12 1万+
一、原理   ET或Extra-Trees（Extremely randomized trees，极端随机树）是由PierreGeurts等人于2006年提出。该算法与随机森林算法十分相似，都是由许多决策树构成。但该算法与随机森林有两点主要的区别： 1、随机森林应用的是Bagging模型，而ET是使用所有的训练样本得到每棵决策树，也就是每棵决策树应用的是相同的全部训练样本； 2、随机森林是
extremely randomized trees
03-16
极端随机树（extremely randomized trees）是一种基于决策树的集成学习算法，它在构建决策树时，对每个节点的特征进行随机选择，而不是像随机森林那样对每个节点的特征进行有限的随机选择。这种随机化的方式可以减少...
随机森林基本原理与算法描述
Y学习使我快乐V的博客
08-27 2万+
一. 前言 在前几篇博文中我们介绍了boosting系列的几个主要算法GBDT、AdaBoost和XGboost的基本原理与算法描述。本篇博文将介绍集成学习的另一大分支bagging方法的代表算法随机森林（Random Forest）算法。 bagging系列的算法原理相较于boosting系列的算法要简单不少。bagging方法各个子树并行的生成，而不像boosting系列算法，下一棵子树的...
决策树、随机森林、极端随机树（ERT）
ZNJIAYOUYA的博客
02-26 4061
决策树、随机森林、极端随机树（ERT）
rtaormina/MATLAB_Ex​traTrees:极端随机树（Extra-Trees）的MATLAB实现-matlab开发
06-01
MATLAB_ExtraTrees 包是 Geurts 等人提出的极端随机树（Extra-Trees）的 MATLAB 实现。 （2006）。
基于OpenCV的机器学习（八）极端随机树
yang_jianfeng的博客
08-13 1991
极端随机树 极端随机数（Extremely randomized Tree,ET或Extra-Trees)算法与随机森林算法十分相似，都是由许多决策树构成。但该算法与随机森林有两点主要的区别： 1.随机森林算法应用的是Bagging模型，而ET是使用所有的训练样本得到每颗决策树的，也就是说，每颗决策树应用的是相同的全部训练样本。 2.随机森林算法是在一个随机子集内得到的最佳分叉属性，而ET是完全随机地得到分叉值，从而实现对决策树的分叉。 ...
Random Forest 和 Extreme Randomized Tree
weixin_42699405的博客
08-14 1767
今天在Kaggle的比赛中发现了有Extra Tree这个东西，查询了一下相关的文章，发现算法区别如下： 随机森林：随机选取m个特征变量 => 这些变量中所有的值（共计m x  n个）作为split的候选对象 => 基于split rules (impurity reduction etc.) 进行split Extra Tree：随机选取m个特征变量 => 对于每一个变量，...
Forests of randomized trees
hzau_yang的博客
08-11 2562
sklearn.ensemble模块包括两个基于随机决策树的算法：随机森林算法和树外方法。这些算法是特别对于树的扰动与结合技术。这就意味着多种分类器的集合通过在分类器构建过程中引入随机项而被构建。这种集成的预测通过个体的分类的平均预测。
随机森林(randomForest)和极限树或者叫做极端随机树(extraTree)，
热门推荐
lc574260570的博客
08-18 4万+
随机森林：是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。，随机森林对回归的结果在内部是取得平均 但是并不是所有的回归都是取的平均，有些是取的和，以后会发博文来解释这样的一个现象，需要整理些资料出来。 随机森林里的随机包含的意思是： 样本随机 特征随机 参数随机 模型随机（ID3 ,C4.5） 极限树/极端随机树里的随机包含的意思是： 特征随机 参...
【Python机器学习】零基础掌握ExtraTreesClassifier集成学习
Mr数据杨
10-25 697
本次介绍的是算法，这是一种用于分类任务的集成学习模型。通过一个具体的案例，探讨了如何使用这个算法预测电影票房的成功或失败。案例中详细展示了如何准备数据、进行模型训练和特征重要性的可视化。通过条形图清晰地展示了影响电影票房成功的各个因素的重要性。优点总结，具有出色的分类性能，能处理大量特征和高维数据。同时由于它是一种集成算法，能有效地降低过拟合的风险。优点项目说明高分类精度通过集成多棵决策树，提高了分类的准确性降低过拟合风险集成学习有助于降低模型复杂性，减少过拟合可处理高维数据。
随机森林与极端随机森林
YJ语
04-26 5223
原文：http://blog.youkuaiyun.com/zhaocj/article/details/51648966 ET或Extra-Trees（Extremely randomized trees，极端随机树）是由PierreGeurts等人于2006年提出。该算法与随机森林算法十分相似，都是由许多决策树构成。但该算法与随机森林有两点主要的区别： 1、随机森林应用的是Bagging模型，而ET是使用所有的训练样本得到每棵决策树，也就是每棵决策树应用的是相同的全部训练样本； 2、随机森林是在一个随机子集内得到最
特征筛选11——ExtraTrees筛选特征
呆萌的代Ma
12-22 3235
算法简述 ExtraTrees(极度随机树)，与随机森林(Random Forest)是一样的，都是决策树的集成模型，区别在于：分叉的方式 随机森林依据Gini或信息熵 ExtraTrees是随机，没错纯随机，随机的特征构建边，随机的阈值来分叉 在筛选特征时也可以使用随机森林，但是在容易过拟合的情况下纯随机的ExtraTrees表现会更好，因为无形中表示：在随机的场景下(模拟未知分布的测试集)某些特征仍旧表示出强势的区分度，证明这个特征很重要 示例代码 import pandas as pd def
随机森林、决策树、极度随机树分类Demo
Katniss的Blog
11-16 720
from sklearn.model_selection import cross_val_score #交叉验证 from sklearn.datasets import make_blobs #为聚类产生数据集 产生一个数据集和相应的标签 from sklearn.ensemble import RandomForestClassifier#随机森林分类 from sklearn.ensemble import ExtraTreesClassifier#极度随机树分类 from sklearn.tree
介绍一下Extra Trees算法
最新发布
03-30
<think>嗯，用户让我介绍一下Extra Trees算法。首先，我得回忆一下这个算法的基本概念。Extra Trees全称是Extremely Randomized Trees，属于集成学习中的一种方法，应该和随机森林类似吧。那它和随机森林有什么不同呢？我记得随机森林在构建决策树时会随机选择特征子集，然后在每个节点选择最佳分裂点。而Extra Trees可能在这方面更随机，可能是在选择分裂点时不是找最优的，而是随机选，这样可以减少方差，提高模型的鲁棒性。 接下来，我需要确认一下算法的核心思想。Extra Trees由Pierre Geurts等人在2006年提出，确实是集成方法，属于Bagging类。每个基学习器是极度随机化的决策树，可能是在分裂节点时随机选择特征和分裂点，而不进行全局最优选择。这样的随机性可以减少过拟合，加快训练速度，因为不需要计算最佳分裂点。 然后是算法步骤。构建过程应该包括：随机选择样本子集，对于每个节点，随机选择特征子集，然后随机选择每个特征的分裂点，评估这些随机分裂点的效果，选择最好的作为分裂规则。这样每棵树都是基于随机选择的分裂点生成的，最后通过投票或平均进行预测。 接下来是优缺点。优点可能有更低的方差，因为更多的随机性，训练速度快，对噪声数据更鲁棒。缺点可能是偏差稍高，因为分裂点不是最优的，解释性可能较差，毕竟随机性强。 应用场景的话，适用于高维数据、需要快速训练的情况，以及对过拟合敏感的任务。比如图像识别、生物信息学这些领域。 需要确保提到的关键点：极度随机化、分裂点的随机选择、与随机森林的区别。可能用户想知道为什么选择Extra Trees而不是随机森林，或者它的优势在哪里。还要注意使用正确的中文术语，结构清晰，分点说明。 另外，用户可能希望了解数学部分，比如在分裂时如何随机选择，是否需要数学公式。根据系统指令，行内公式用$...$，独立公式用$$...$$。例如，在分裂节点时，可能涉及信息增益的计算，但Extra Trees可能随机选择阈值，而不是计算所有可能阈值的最佳值。例如，对于某个特征，随机选择一个分裂值，而不是遍历所有可能值找最优的。这样减少了计算量。 可能还需要比较一下Extra Trees和其他集成方法，比如随机森林和梯度提升树。例如，随机森林在特征子集上寻找最优分裂，而Extra Trees在随机选择的分裂点中选择最佳，因此更随机，方差更低，但偏差可能更高。 最后，确保回答结构清晰，分点介绍原理、步骤、优缺点和应用，语言准确，符合LaTeX格式要求，正确使用数学表达式。比如，在提到信息增益时，可以用公式$IG(D, f)$，但可能不需要深入数学推导，因为用户主要需要介绍而不是详细推导。</think>### Extra Trees算法介绍 #### 一、算法原理 Extra Trees（**Extremely Randomized Trees**，极度随机化树）是一种基于决策树的集成学习算法，由Pierre Geurts等人于2006年提出。其核心思想是通过引入**双重随机性**（样本随机性 + 特征分裂随机性）降低模型方差，提升泛化能力。 #### 二、核心特点 1. **双重随机性** - **样本随机性**：类似随机森林，每棵树训练时从原始数据集中**有放回抽样**生成子样本（Bootstrap采样）。 - **分裂随机性**：在每个节点选择分裂特征时，**随机选取特征子集**，并进一步**随机生成分裂阈值**（而非搜索最优阈值）。例如： 对于特征$f$，随机选择一个值$v$作为分裂点，直接计算分裂后的效果。 2. **弱相关性基学习器** 由于分裂的极度随机性，每棵树的预测结果差异更大，进一步降低了集成模型的方差。 #### 三、算法步骤 1. **构建多棵决策树**： - 对每棵树执行以下操作： - **采样**：从数据集中随机抽取一个子样本（可重复）。 - **生成树**：递归分裂节点，每次分裂时： - 随机选择$k$个特征（$k \leq \text{总特征数}$）。 - 对每个特征**随机生成一个分裂阈值**。 - 选择其中分裂效果最好的（如基尼指数或信息增益最优）作为分裂规则。 2. **集成预测**： - **分类任务**：通过投票法汇总所有树的预测结果。 - **回归任务**：通过平均法汇总所有树的预测值。 #### 四、数学表达（以回归为例） 假设构建$T$棵树，第$i$棵树的预测结果为$h_i(x)$，则最终预测为： $$ \hat{y} = \frac{1}{T} \sum_{i=1}^{T} h_i(x) $$ #### 五、与随机森林的区别 | **特性** | **随机森林** | **Extra Trees** | |------------------|----------------------------------|-------------------------------------| | **分裂阈值选择** | 遍历所有可能值，选择最优阈值 | 随机生成若干候选阈值，选择最优者 | | **计算复杂度** | 较高（需搜索最优分裂） | 较低（随机阈值减少计算量） | | **模型方差** | 较高 | 更低（双重随机性削弱过拟合） | #### 六、优缺点分析 **优点**： - 训练速度快（分裂阈值随机生成，无需遍历所有可能值）。 - 对高维数据和噪声数据鲁棒性强。 - 过拟合风险低，适合复杂数据集。 **缺点**： - 单棵树预测能力较弱（因随机性过强）。 - 在数据量较小时可能欠拟合。 #### 七、应用场景 1. **高维数据**：如基因表达数据、文本分类。 2. **实时性要求高**的场景：因训练速度快。 3. **噪声较多**的数据集：随机性可抑制噪声干扰。 #### 八、代码示例（Python） ```python from sklearn.ensemble import ExtraTreesClassifier # 初始化模型 model = ExtraTreesClassifier(n_estimators=100, max_features='sqrt') # 训练与预测 model.fit(X_train, y_train) y_pred = model.predict(X_test) ``` #### 九、总结 Extra Trees通过**极度随机化的特征分裂策略**，在保持集成学习优势的同时进一步降低方差，适用于对计算效率和泛化能力要求较高的任务。其核心价值在于平衡了模型的复杂性与效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值