机器学习之决策树（DecisionTree——ID3）

已于 2025-01-20 15:16:10 修改
阅读量602 收藏 10
点赞数 3
分类专栏： Python-Hadoop-ML 文章标签： 机器学习 决策树 人工智能
于 2025-01-17 15:00:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Haiyang_Duan/article/details/145186076
版权

1、决策树(ID3)西瓜集算例

决策树(ID3)中选择哪一个特征进行分裂，称之为特征选择。
特征选择是找出某一个特征使得分裂后两边的样本都有最好的“归宿”，即左边分支的样本属于一个类别、右边分支的样本属于另外一个类别，左边和右边分支包含的样本尽可能分属同一类别，此时分裂节点的纯度（purity）高，能够表征这种纯度高低的常用指标是信息熵（information entropy）。
假设有一个数据集 D D D，包含

了解本专栏 订阅专栏 解锁全文 超级会员免费看
机器学习之决策树（DecisionTree——C4.5）
一叶_障目
01-21 2378
在机器学习之决策树（DecisionTree——ID3）中我们提到，ID3无法处理是连续值或有缺失值的属性。而C4.5算法可以解决ID3算的上述局限性。对于数据集DDD和连续值属性AAA，假设连续值属性AAA有MMM个不同的取值，可通过二分法bi-partition对联组织属性进行离散化处理，即：表1中的西瓜数据集包含17个样本（n=1,2,3,...,17n=1,2,3,...,17n=1,2,3,...,17），每个样本有8个属性（k=1,2,3,...,8k = 1 , 2 , 3 , . . . ,
Python机器学习笔记（十七、分箱、离散化、线性模型与树）
FreedomLeo1的博客
12-30 795
因为每个箱子内的特征是不变的，所以对于一个箱子内的所有点，任何模型都会预测相同的值。比较对特征进行分箱前后模型学到的内容，我们发现，线性模型变得更加灵活了，因为现在它对每个箱子具有不同的取值，而决策树模型的灵活性降低了。有一种方法可以让线性模型在连续数据上变得更加强大，就是使用特征分箱（binning，也叫离散化discretization）将其划分为多个特征，即：假设将特征的输入范围（在这个例子中是从-3到3）划分成固定个数的箱子（bin）， 比如10个，那么数据点就可以用它所在的箱子来表示。
数据分箱3——决策树分箱（有监督）
呆萌的代Ma
12-13 4933
思路比较简单：将某一列数据作为训练集，将label作为结果，直接训练一个决策树，然后根据决策树的分裂节点的阈值作为分箱的依据。 sklearn的决策树文档：https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html 方法： def decision_tree_binning(x_value: np.ndarray, y_value: np.ndarray, max_bin=10) -&g
决策树详解
MrTriste的博客
08-06 4015
决策树一般有三个重要部分，特征选择、生成、剪枝。 特征选择有这么四种标准构建分类树的话是信息增益、信息增益比、基尼指数构建回归树的话是平方误差最小化。 生成基本思路是，找到最佳分裂点，将数据集分成若干部分（具体地，普通决策树是根据最佳分裂特征的取值有多少个就将数据集分成几个部分，CART是只分成两部分，所以普通决策树一般处理离散型变量，CART离散型和连续型都可以处理，而且普通决策树增长的太快，很容
【笔记】【机器学习基础】分箱、离散化、线性模型、树
qq_47809408的博客
06-04 455
分箱
一篇入门之-评分卡变量分箱（卡方分箱、决策树分箱、KS分箱等）实操例子
最新发布
dbat
04-26 774
最大KS分箱是基于KS值来进行分箱的一种方法，它先把所有样本初始化为一个分箱，然后根据KS点对分箱不断切割，直到数据分为n个分箱。它们都属于自动分箱方法，其中，卡方分箱是实际中最常用的分箱方法。最后，还需要审查一下业务逻辑是否合理，仔细看下每个分箱(第2列)与对应的badrate是不是符合业务逻辑，如果业务逻辑不合理，那赶紧检查问题，如果业务逻辑合理，那就过关啦！卡方分箱是基于卡方值进行分箱的一种方法，卡方分箱先初始化m个分箱，卡方分箱用卡方值判断哪两个分箱的类别分布最没区分度，就合并哪两个分箱。
决策树算法
m0_52287942的博客
03-21 657
女孩母亲要给她介绍对象，年龄是多少，母亲说24。长得帅吗?挺帅的。收入高吗?中等收入。是公务员吗?母亲说，是的。女孩:好，我去见见。根据实力构建决策树:问题:图片是二叉树吗?决策树是标准的二叉树，每个节点只有两个分支~上面那棵树中，属性:绿色的节点(年龄、长相、收入、是否是公务员)属性叫做，data，数据，一般使用X表示跟属性对应，目标值(橘色节点)，一般使用y表示 构建这棵树时，先后顺序，每个人，标准不同，树结构不同计算机，构建树，标准一致的，构建出来的树，一致。
机器学习算法之决策树DecisionTree实现.zip
04-20
常见的决策树算法有ID3、C4.5、CART（分类与回归树）、随机森林（Random Forest）和梯度提升决策树（Gradient Boosting Decision Tree）。这些算法在处理连续值和缺失值、处理多类别问题以及防止过拟合等方面有所...
机器学习——决策树（Decision Tree)
weixin_74340055的博客
04-29 1766
本文详细介绍了决策树的理论基础，包括最优属性选择的三种方法，并通过Python代码展示了如何使用scikit-learn库创建决策树、评估模型性能并进行可视化。在实际应用中，我们可以根据数据的特点和需求选择合适的最优属性选择方法。这次实验也让我对决策树有了更深的理解和看法，重点就是掌握决策树的决策理论以及最优属性的选择方法，实验过程中我也遇到了很多困难，比如对Python不熟悉对scikit-learn库中的函数不熟悉。最后，希望在之后的机器学习之旅我能更上一层楼，期待下一次机器学习算法实验。
【机器学习实录】——决策树（Decision tree）
xiaoyvhuv的博客
02-13 1349
比如说，我们拿到了人这个数据集，那如果根据【电话号码】这个属性进行划分，可想而知，每个电话号码下对应一个人，是足够干净的，但是我们并不想这样做，别忘了机器学习的目的是根据已有样本对未知数据进行预测，如果此时再来一个人的数据，我们无法对他进行分类，那这个模型的构建显然是泛化能力极低的。对信息熵的理解：其实我们看随机变量X，注意它是一个变量，它是不确定的，当我们某个取值最大时，比如等于p（x=a）=1,那么变量就变成了常量，那其他x取值的概率都等于0，此时信息熵是最小的。
人工智能-机器学习-决策树-决策树分类（ID3，C4.5，CART）
07-09
决策树分类（ID3，C4.5，CART） 三种算法的区别如下： (1) ID3算法以信息增益为准则来进行选择划分属性，选择信息增益最大的； (2) C4.5算法先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率...
【决策树】中案例代码的使用（西瓜数据集合）
11-30
这个数据集合是配合【决策树】中案例代码的使用 文章地址在：https://blog.youkuaiyun.com/qq_37344125/article/details/103327909
ID3算法及数据集
09-03
ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集ID3算法及数据集
机器学习之决策树
MakotoXavier的博客
04-29 594
本次实验通过scikit-learn库构建并训练了决策树分类器，用于处理分类问题。实验过程中，成功地将数据集划分为特征和目标变量，并划分为训练集和测试集。通过训练模型并对测试集进行预测，评估了决策树模型的性能，结果显示其分类准确率较高。决策树模型具有易于理解和解释的优点，但也需要注意其可能存在的过拟合问题。尽管存在这些局限性，决策树仍然是一种广泛适用的机器学习算法，可用于多种实际场景。未来，我们可以通过集成方法进一步提升决策树的性能。
机器学习分箱方法
m0_69378371的博客
04-25 306
Chi-Square 分箱 ('chi'):Chi-Square 分箱 （'chi'）：决策树分箱 ('dt'):分位数分箱 ('quantile'):等距分箱 ('step'):K均值聚类分箱 ('kmeans'):
sklearn实战01：决策树
weixin_40313252的博客
11-16 1257
1 模块sklearn.tree的使用 1.1 模块介绍 1.2 使用流程 from sklearn import tree #导入需要的模块 clf = tree.DecisionTreeClassifier() #实例化 clf = clf.fit(X_train,y_train) #用训练集数据训练模型 result = clf.score(X_test,y_test) #导入测试集，从接口中调用需要的信息 2 重要参数 2.1 criterion Criterion这个参数正是用来决
决策树的构造——一个手工例子
小吹的专栏
02-26 5648
这个数据集来自Mitchell的机器学习，叫做是否去打网球play-tennis,以下数据仍然是从带逗号分割的文本文件，复制到纪事本，把后缀直接改为.csv就可以拿Excel打开：*play-tennis data，其中6个变量依次为：编号、天气{Sunny、Overcast、Rain}、温度{热、冷、适中}、湿度{高、正常}、风力{强、弱}以及最后是否去玩的决策{是、否}。一个建议是把这些数
西瓜数据集介绍以及获取。
热门推荐
繁城落叶
03-14 3万+
西瓜数据集介绍。 这里介绍一下《机器学习》中的西瓜数据。数据集也不少，放在别的文章中介绍就会略占篇幅，还是单独的介绍一下并且给出数据样本。 在西瓜书中，主要使用到的数据样本共有2.0、3.0、4.0这三个版本，但是还有一些用到的数据集。 西瓜数据集2.0 在西瓜数据集2.0中的特征主要有以下几种：色泽、根蒂、敲声、纹理、脐部、触感。这几个数值都是离散数值，每个特征共有三个离散值。 ...
决策树算法入门案例
MAILLIBIN的专栏
08-05 408
决策树是从样本数据中找出最优分类路线的一种方法，通过计算样本目标值的熵和输入值的熵以及某一指标能够带来的熵减程度，逐步优选出树形决策思路的节点，相对于机器学习神经网络，决策树的可解释性更好，计算量也更少。 样本数据一般是类似这样： 离散数据的熵可以用一下公式计算： 比如本案例中样本结果的总体熵值为： 分别计算各个属性的信息增益值： 通过计算，我...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一叶_障目

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值