单层决策树

最新推荐文章于 2020-12-11 17:03:52 发布

原创

最新推荐文章于 2020-12-11 17:03:52 发布 · 8.8k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

本文介绍了单层决策树（decision stump）的概念，它仅基于一个特征进行决策。通过一个示例展示了如何使用单层决策树进行分类，讨论了如何选择最佳阈值以降低错误率，并给出了Python实现的简化代码。最终得出结论，最优决策树是按第一个特征划分，错误率为0.2。

单层决策树(decision stump)是一种简单的决策树，它仅仅是基于单个特征来做决策，由于这棵树只有一次分裂过程，因此它实际上仅仅是一个树桩。例如对下面一幅图进行分类：

这里的数据分别是(1,2.1),(2,1.1),(1.3,1),(1,1),(2,1)这里要将圈和框分开：

1、按照横坐标or纵坐标来划分，这里将横坐标视为特征一，纵坐标视为特征二（单决策树只能根据一个特征来做决策）；

1.1 基于第一步，因此外层循环即为数据集特征的循环；

1.1.1 如果是按照第一个特征来划分类别，那么第一个特征点中存在节点，即树的左右分支，这个时候怎样判断是左还是右呢？

1.1.

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

u011551096

关注关注

3
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

机器学习笔记24——单层决策树（decision stump）原理以及python实现

weixin_45666566的博客

08-15

6962

单层决策树1、概述2、构建 1、概述 \quad \quad单层决策树（decision stump），也称决策树桩，它是一种简单的决策树，通过给定的阈值，进行分类。如下图所示（仅对 petal length 进行了判断）：从树（数据结构）的观点来看，它由根节点（root）与叶子节点（leaves）直接相连。用作分类器（classifier）的 decision stump 的叶子节点也就意味着最终的分类结果。从实际意义来看，decision stump 根据一个属性的一个判断就决定了最终的分类结果

【Python机器学习】利用AdaBoost元算法提高分类性能——基于单层决策树构建弱分类器

最新发布

weixin_39407597的博客

08-05

2515

单层决策树（也称决策树桩）是一种简单的决策树。它基于单个特征来做决策，由于这棵树只有一次分裂过程，因此它实际上就是一个树桩。

参与评论您还未登录，请先登录后发表或查看评论

基于单层决策树(二值分类法)的adaboost算法实现

05-14

基于单层决策树(二值分类法)的adaboost算法实现

数据挖掘中的单级决策树算法

05-16

数据挖掘分类中的使用的单级决策树算法，java语言编写

单层决策树python_【机器学习算法-python实现】Adaboost的实现(1)-单层决策树(decision stump)...

weixin_39593961的博客

12-02

294

def stumpClassify(dataMatrix,dimen,threshVal,threshIneq):#just classify the dataretArray = ones((shape(dataMatrix)[0],1))if threshIneq == 'lt':retArray[dataMatrix[:,dimen] <= threshVal] = -1.0else:...

基于单层决策树的AdaBoost算法.zip

08-23

**基于单层决策树的AdaBoost算法** 在Python编程环境中，数据科学和机器学习领域广泛使用各种算法，其中AdaBoost是一种强大的集成学习方法。本项目旨在帮助初学者深入理解并实际操作基于单层决策树的AdaBoost算法。...

基于单层决策树的adaBoost算法思想分析和源代码解析

梁先森的博客

06-17

1942

上一篇SVM可是废了我好鼻子劲，这一篇咱们来点愉快的东西。我们一定听说过这句俗语：“三个臭皮匠，顶个诸葛亮！” 大致意思就是三个能力一般的人加起来，也能抵得上一个能力很强的人。通俗意思就是人多力量大。没错，今天咱们所说的这个算法，就是利用这三个臭皮匠，去替代这个诸葛亮。

机器学习实践——基于单层决策树的AdaBoost算法

SaltedPerson的博客

07-21

1447

背景：集成算法是将相同或不同的分类器组合成为一个强分类的方法，这种组合方法包括自聚汇聚法（bagging），还有boosting方法。我们选用最流行的AdaBoos算法。 AdaBoost的运行过程：训练数据集的每一个样本，应赋予一个权重，这些权重构成一个向量D，一开始，这些权重都初始化为相等的值，首先在训练数据集上训练出一个弱分类器并计算该分类器的错误率，然后在同一数据集上再次训练弱分类器，但...

基于Python的机器学习实战：AadBoost

wqx1414161394的博客

03-01

317

目录:1. Boosting方法的简介2. AdaBoost算法3.基于单层决策树构建弱分类器4.完整的AdaBoost的算法实现5.总结1. Boosting方法的简介返回目录Boosting方法的基本思想：对于一个复杂的任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好. 实际上就是“三个臭皮匠顶个诸葛亮的道理。”（参考：李航《统计学习方法》）对于分类问...

【机器学习算法-python实现】Adaboost的实现(1)-单层决策树(decision stump)

weixin_34289454的博客

03-04

323

(转载请注明出处：http://blog.youkuaiyun.com/buptgshengod)1.背景上一节学习支持向量机，感觉公式都太难理解了，弄得我有点头大。只是这一章的Adaboost线比較起来就容易得多。Adaboost是用元算法的思想进行分类的。什么事元算法的思想呢？就是依据数据集的不同的特征在决定结果时所占的比重来划分数据集。就是要对每一个特征值都构建决策树，而且赋予他们不同的权...

单层决策树python_基于单层决策树的adaboost算法Python实现

weixin_39580682的博客

12-02

395

概括来说,adaboost是一个提升方法框架，基学习器可以换成任意的可以引入样本权重或重采样样本来训练的弱学习器adaboost主要有两点：每一轮改变训练数据的权值或者概率分布, Wmi弱分类器的训练出来后也有一个权重alpha，采用加权多数表决下面给出加了注释的基于单层决策树的adaboost算法实现"""基于单层决策树的adaboost，这个单层决策树跟平时用的单层决策树不同，这里只是考察某个...

单层决策树python_《机器学习实战》

weixin_39968309的博客

12-11

1634

《机器学习实战》机器学习 读书笔记第1章 机器学习基础1.1 何为机器学习机器学习就是将无序的数据转换成有用的信息特征或者属性通常是训练样本集的列，他们是独立测量得到的结果，多个特征联系在一起共同组成一个训练样本知识表示，计算机算法通过学习获得的知识，某些算法可以产生很容易理解的知识表示，而某些算法的知识表示也许只能为计算机所理解1.3 主要任务分类回归，预测数值型数据聚类密度估计1.5 通用步骤...

机器学习实战（五）——基于单层决策树（dicision-stump）的adaBoosting

lvsolo的专栏

04-01

5766

一、元算法元算法（meta-algorithm）是一类将多个分类器分类结果进行整合的算法，元算法一般包括一下几种：bagging(boostrap aggregating),random-forest,jackknife,boosting 遇到罕见病例时，医院会组织专家团进行临床会诊共同分析病例以判定结果。如同专家团临床会诊一样，重大决定汇总多个人的意见往往胜过一个人的决定。机器学习中也吸取了‘三

AdaBoost算法2（基于单层决策树）

爱哭的猫的专栏

03-12

1623

上节我们介绍了单层决策树的生成算法，今天我们就利用单层决策树创建完整的AdaBoost算法： def adaBoostTrainDS(dataArr,classLabels,numIt=40): weakClassArr = [] m = shape(dataArr)[0] D = mat(ones((m,1))/m) aggClassEst = mat(z

决策树

baningtao1470的博客

06-01

195

在众多分类算法中，决策树应该是最基本的一种算法了，也是相对比较简单的一种算法。 决策树的介绍：首先，什么叫做决策树？决策树用于解决什么样的问题？先看一个例子：现有某银行客户拖欠贷款的历史数据，如表 3-1。现在一个新客户{ no, married, 80K, ? } 前来申请贷款，请你根据银行的历史数据判断这个人会不会拖欠贷款？当然，...

机器学习笔记（一）——基于单层决策树的AdaBoost算法实践

行歌

03-06

5616

基于单层决策树的AdaBoost算法实践最近一直在学习周志华老师的西瓜书，也就是《机器学习》，在第八章集成学习中学习了一个集成学习算法，即AdaBoost算法。AdaBoost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。 AdaBo...

单层决策树实现（AdaBoost）

Car12

04-19

816

from numpy import * def loadSimpData(): datMat = matrix([[1., 2.1], [2., 1.1], [1.3, 1.], [1., 1.], [2., 1.]])...

机器学习-分类之AdaBoost原理及实战

周先森爱吃素的博客

01-26

686

AdaBoost算法简介当一个分类器正确率不那么高时，称其为“弱分类器”，或者说该分类器的学习方法为“弱学习方法”。与之对应的，存在“强分类器”和“强学习方法”。强学习方法的正确率很高。 AdaBoost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。 AdaBoost是Adaptive Boost...

单层决策树实现的Adaboost算法研究

在讨论基于单层决策树的二值分类法以及其在adaboost算法中的实现之前，我们首先需要对几个关键概念有所了解：单层决策树、二值分类法、adaboost算法以及adaboost.MH。这些概念构成了机器学习领域中集成学习方法的...