决策树

最新推荐文章于 2025-02-16 18:43:06 发布
最新推荐文章于 2025-02-16 18:43:06 发布
阅读量212 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/leidashuaige/article/details/100560987
版权

视频连接
https://www.youtube.com/watch?v=7VeUPuFGJHk

树的基本结构

在这里插入图片描述

问一个问题，然后根据回答来判断结果

树的完整结构

在这里插入图片描述

描述
  • 顶层浅蓝色为root node
  • 蓝色为internal node
  • 绿色为 leaf node

注意点

  • root node的问题很重要
  • 问题可以被重复
  • 结果可能被重复

如何构造一个树

选择根节点

使用每一个feature对于结果的相关性进行比较

在这里插入图片描述

在这里插入图片描述

问题
  • 因为有数据不全的情况，不同特征的总数不会相等
  • 同一特征的左右数据总量不相等
如何解决这个问题
  1. 使用Gini公式计算每个分支的相关性

注意：Gini越小则该特征越有用

在这里插入图片描述

2.使用Gini impurity来表达一个feature的有效性

Gini impurity = 使用加权平均Gini公式

在这里插入图片描述

  1. 选择最小的相关性的作为root note

迭代选择internal Note

选择哪一个作为节点

如同选择根节点的note一样，我们这里还是计算Gini impurity

在这里插入图片描述

何时终止迭代

如果该节点计算所有feature的Gini impurity 均小于该节点的Gini score则不用往下迭代了。

在这里插入图片描述

问题：如果该feature为数值类型怎么办？

  1. 将该数值升序排序，并且平均相邻的数值
  2. 将该数值作为分割点计算Gini impurity
  3. 选择最低分数的点作为最终的分割点

在这里插入图片描述

问题：如果该feature为category类型怎么办

  1. 给出该category的所有单个或者or组合
  2. 计算全部点的Gini impurity
  3. 选择最低的那个作为分割

在这里插入图片描述

feature importance 如何计算

就是单独计算每个节点的Gini impurity ，最低的就是最相关的

sklearn的 feature importance 可能是 1- Gini impurity

sk learn tree的参数解释

max_depth

树的总深度，越深的话越overfit。但是默认就是很深

min_samples_split

internode最小的sample

min_samples_leaf

最小叶子节点的sample数量

默认为1

min_weight_fraction_leaf

最小叶子节点要有的sample数量占所有sample数量的比例

max_features

最多的feature数量，默认为max_feature

结论

  1. 由树的原理来看，树结构对已经见到过的数据拟合效果会非常的好。没有见过的数据，拟合效果非常的差

  2. sklearn的默认参数就是最能够过拟合的参数了，调整其他参数，仅仅是用来防止过拟合

决策树学习（上）——深度原理剖析及源码实现
老杨的博客
08-14 5764
引言本文给大家分享的主题是决策树（Decision Tree）的原理剖析并附上代码实现供大家参考。由于基于决策树的算法较多，因此文章分为上下篇。上篇主要剖析决策树原理、需要掌握的信息论知识以及Java源码实现等内容。下篇内容包括基于决策树的ID3、CART以及C4.5等著名算法的深入比较、理解以及完整代码实现。
决策树中的基尼指数
最新发布
2301_82143894的博客
03-18 1597
在决策树中，基尼指数（Gini Index），也叫基尼不纯度（Gini Impurity），是一个用来衡量数据集“纯度”的指标。在决策树中，基尼指数是一个快速、有效的工具，用于衡量节点的不纯度并指导分割。每次分裂时，算法通过比较不同特征的基尼增益，找到最优分割点，最终构建一棵能高效分类的树。选择最佳分割：尝试每个特征的每个可能分割点，计算分割后子节点的基尼指数加权平均（称为基尼增益），选择增益最大的分割。如果其他特征的分割带来的基尼增益更大，决策树会选择那个特征。
决策树案例理解
杨航的专栏
12-14 6426
小王是一家著名高尔夫俱乐部的经理。但是他被雇员数量问题搞得心情十分不好。某些天好像所有人都來玩高尔夫，以至于所有员工都忙的团团转还是应付不过来，而有些天不知道什么原因却一个人也不来，俱乐部为雇员数量浪费了不少资金。 小王的目的是通过下周天气预报寻找什么时候人们会打高尔夫，以适时调整雇员数量。因此首先他必须了解人们决定是否打球的原因。 在2周时间内我们得到以下记录: 天气状况有晴，
第十一课.决策树
白景屹的博客
02-01 890
目录决策树与特征选择决策树的形式决策树的学习特征选择决策树的生成与剪枝 决策树与特征选择 决策树是一种基本的分类与回归方法，下面主要介绍分类决策树的原理与应用。分类决策树既可以看作是一个规则集合，又可以看作是给定特征条件下类的条件概率分布。 决策树的形式 决策树常用三种形式表达：树形结构，规则集合，条件概率； 树形结构 某银行使用决策树模型决定是否同意申请人贷款，每来一个贷款申请人，需要先看他是否有房，然后看他是否有工作，根据这两个特征决定要不要给他贷款： 规则集合 由上面的决策树可知，从根结点到叶子结点
【机器学习算法笔记系列】决策树(Decision Tree)算法详解和实战
热门推荐
Mr_Robert的博客
03-31 3万+
决策树(Decision Tree)算法 算法概述 本文主要介绍机器学习中的决策树模型。决策树模型是一类算法的集合，在数据挖掘十大算法中，具体的决策树算法占有两席位置，即C4.5和CART算法。决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。同时也特别适合集成学习比如随...
决策树模型
gulie8的博客
07-14 1317
决策树模型是机器学习的各种算法模型中比较好理解的一种模型，它的基本原理是通过对一系列问题进行if/else的推导，最终实现相关决策。 下图所示为一个典型的决策树模型——员工离职预测模型的简单演示。该决策树首先判断员工满意度是否小于5，若答案为“是”，则认为该员工会离职，若答案为“否”，则接着判断该员工收入是否小于10000元，若答案为“是”，则认为该员工会离职，若答案为“否”，则认为该员工不会离职。 下面解释决策树模型的几个重要概念：父节点和子节点、根节点和叶子节点。父节点和子节点是相对的，子节点由
机器学习+决策树+python实现对率回归决策树
04-28
对于正确率相同的节点，选取优先遍历的属性作为根节点，与基于信息增益进行划分选择的方法相比，可知两种方法绘制的决策树正确率均为100%，但对率回归方法容易忽略在同一正确率下划分较佳的节点，从而使决策树层数...
Matlab实现决策树算法
02-27
Matlab实现决策树算法，使用ID3_2函数并设计了十指交叉验证，可显示每一次的模型精度。资源提供类一个数据集用于模型训练，将之直接替换为自己的数据即可运行。最终的决策树建立结果以画图的形式表示，并且为每一类...
基于决策树的鸢尾花分类
04-21
【基于决策树的鸢尾花分类】 决策树是一种广泛应用的机器学习算法，尤其适用于分类问题。在本案例中，鸢尾花的分类是基于决策树模型进行的。鸢尾花有三个不同种类：Iris Setosa (Se)，Iris Versicolour (Ve)，和 ...
决策树分类实验（乳腺癌）.zip_wpbc数据集_乳腺癌数据_决策树 cancer_决策树分类程序（使用乳腺癌数据集）_决策树数
07-15
决策树是一种广泛应用于数据分析和机器学习的算法，尤其在分类问题中表现突出。在这个"决策树分类实验（乳腺癌）"中，我们看到一个利用决策树进行乳腺癌预测的实例。该实验基于wpbc（Wisconsin Breast Cancer）数据...
基于python 的决策树判断是否降雪【机器学习课程设计】
06-27
【作品名称】：基于python 的决策树判断是否降雪【机器学习课程设计】 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】...
机器学习【决策树算法2】
weixin_43923463的博客
08-12 604
将任意数据（如文本或图像）转换为可用于机器学习的数字特征注：特征值化是为了计算机更好的去理解数据字典特征提取（特征离散化）文本特征提取图像特征提取（深度学习将介绍）优点：简单的理解和解释，树木可视化。缺点：决策树学习者可以创建不能很好地推广数据的过于复杂的树，容易发生过拟合。减枝cart算法随机森林（集成学习的一种）传统企业重要决策，由于决策树很好的分析能力，在决策过程应用较多， 可以选择特征。......
python 决策树_机器学习算法之——决策树模型(Decision Tree Model)原理讲解及Python实现...
weixin_39600837的博客
12-07 815
所属分类：机器学习摘要这一篇简单介绍一下使用决策树来进行分类任务, 同时我们会对决策树的结果进行可视化的显示. 这里会使用iris的例子进行分析.文章目录(Table of Contents)简介参考资料模型的训练与可视化导入数据集训练决策树模型模型的评价结果的可视化一些问题Make sure the Graphviz executables are on your systems' PATH简介...
机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
04-13 1万+
基尼不纯度：衡量集合的无序程度； 基尼不纯度：将来自集合的某种结果随机应用于某一数据项的预期误差率。 IG(f)=∑i=1mfi(1−fi)=∑i=1mfi−∑i=1mf2i=1−∑i=1mf2i I_G(f)=\sum_{i=1}^mf_i(1-f_i)=\sum_{i=1}^mf_i-\sum_{i=1}^mf_i^2=1-\sum_{i=1}^mf_i^2（1）显然基尼不纯度越小，纯度越高，
机器学习笔记：特征处理——相关性分析GINI impurity
laowuzhuanyong的博客
05-27 980
做相关性分析的方法有很多，这里分享几个相关性分析。 1、GINI系数 公式：（网上贴的） G=i=1∑C​p(i)∗[1−p(i)] 什么是基尼系数呢，其实就是P(Y|X)的一种变形，用人话就是说，利用多个标签，是否能区分模型，也就是相关度。 引入示例加深理解 X Y 有钱 老板 有钱 傻逼 没钱 老板 没钱 傻逼 没钱 傻逼 如果他有钱的情况下，他是老板的概率为0.5， 他没钱的情况下，他是老板的概率为0.33（三分之一） 所以他的GINI系数为
基尼指数详细解释
Ethan_Rich的博客
08-15 2845
基尼指数量化了一个节点中样本的不纯度。具体来说，它计算了从该节点中随机抽取两个样本，它们属于不同类别的概率。基尼指数越低，表示节点的纯度越高。
机器学习——决策树
2402_87933438的博客
02-16 1395
它包含了 150 个鸢尾花样本，涵盖了三种不同品种的鸢尾花（山鸢尾、变色鸢尾和维吉尼亚鸢尾），每个样本有 4 个特征，分别是花萼长度、花萼宽度、花瓣长度和花瓣宽度。设置固定的随机种子可以保证每次运行代码时，决策树的构建过程都是相同的，从而使得实验结果具有可复现性。通过固定随机数生成器的初始值（随机种子），使得算法在每次运行时使用相同的随机数序列，从而控制了算法中的随机行为，保证了实验结果的可复现性。设置固定的随机种子可以保证每次运行代码时，数据集的划分结果都是相同的，这样便于实验的复现。
R语言 决策树、bagging、boosting、随机森林
程志伟的博客
03-03 7429
关注微信公共号：小程在线 关注优快云博客：程志伟的博客 R版本：3.6.1 rpart()：建立分类回归树 rpart.plot():可视化分类回归树 rpart.control()：设置分类回归树的参数 printcp()：查看复杂度参数CP plotcp()：可视化复杂度参数CP prune()：得到决策树的修剪子树 bagging()：利用袋装技术建立组合预测模型 pr...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值