机器学习——决策树的创建

最新推荐文章于 2024-08-10 00:35:27 发布
原创 最新推荐文章于 2024-08-10 00:35:27 发布 · 4.1k 阅读 · 36 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#决策树 #人工智能

 

目录

一、什么是决策树？

          1.决策树概念：   

               2.决策树实例：

二、决策树构造的ID3算法

        1.决策树的构造过程

        2.使用ID3算法划分特征

三、实现决策树

 四、总结

 1.决策树

2.ID3算法

3.此次实验暂时无法将决策树可视化

一、什么是决策树？

          1.决策树概念：   

       简单来说决策树就是一棵树，一颗决策树包含一个根节点、若干个内部结点和若干个叶结点，叶结点就是问题的决策结果。也就是说一棵树包括根节点、父节点、子节点、叶子节点。子节点由父节点分裂出来，然后子节点作为新的父节点继续分裂，直到得出最终结果。

               2.决策树实例：

           假设给了一个动物的名字它的一些特征，然后我们需要根据这些特征来判断这个动物是否属于哺乳动物。

动物名称 体温 呼吸 胎生 毛发 哺乳动物
猫 恒温 肺 是 是 是
蛇 冷血 腮 否 否 否

             决策树如下：

二、决策树构造的ID3算法

        1.决策树的构造过程

动物名称 食物 体温 呼吸方式 胎生 毛发 生活环境 哺乳动物
老虎 肉食 恒温 肺 是 是 草原 是
蛇 肉食 冷血 腮 否 否 森林 否
鱼 杂食 冷血
最低0.47元/天 解锁文章
Gucciwei
关注
机器学习--决策树的创建与实现
qq_53951219的博客
11-15 1306
决策树
机器学习笔记15——决策树(DT)、ID3算法、C4.5算法原理以及python实现案例
weixin_45666566的博客
07-19 1万+
决策树1、概述2、决策树模型3、决策树学习4、决策树构建-三步骤4.1 特征选择4.1.1 熵(entropy)4.1.2 条件熵(entropy)4.1.3 信息增益总结 1、概述 决策树（decision tree）： 是一种基本的分类与回归方法，此处主要讨论分类的决策树。 在分类问题中，表示基于特征对实例进行分类的过程，可以认为是if-then的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。 2、决策树模型 定义： 分类决策树模型是一种描述对实例进行分类的树形结构。 决策树由结点和有向边组
决策树算法（二）——构建数据集
编程小栈
07-14 4733
目录索引 目录索引 写在前面的话 决策树构建的一般流程 数据的构建 参考链接 写在后面的话 写在前面的话 如果您有任何地方看不懂的，那一定是我写的不好，请您告诉我，我会争取写的更加简单易懂！ 如果您有任何地方看着不爽，请您尽情的喷，使劲的喷，不要命的喷，您的槽点就是帮助我要进步的地方！ 1.决策树构建的一般流程 收集数据：任何你能收集数据的方法 准备数据：
决策树的构建
isi_1的博客
04-30 1759
决策树是一种树形结构，其中每个内部节点（Internal Node）表示一个特征（Feature），每个分支（Branch）表示一个特征取值的判断条件，而每个叶子节点（Leaf Node）表示一个类别（Classification）或者一个数值（Regression）。通过对特征的逐层划分，决策树可以对数据进行分类或者预测。
决策树（decision tree）(一)——构造决策树方法
热门推荐
天泽28的专栏
04-18 10万+
决策树（decision tree） 说明：这篇博客是看周志华老师的《机器学习》（西瓜书）的笔记总结，博客中有大段文字摘自周老师的《机器学习》书，仅供学习交流使用。转载博客务必注明出处和作者，谢谢。 决策树算法起源于E.B.Hunt等人于1966年发表的论文“experiments in Induction”，但真正让决策树成为机器学习主流算法的还是Quinlan（罗斯.昆兰）大神（2011年
机器学习——决策树
weixin_62472350的博客
08-10 3407
从理论深入解释决策树模型，并基于sklearn与基于python分别实现该模型应用。
机器学习——决策树（Decision Tree)
weixin_74340055的博客
04-29 1966
本文详细介绍了决策树的理论基础，包括最优属性选择的三种方法，并通过Python代码展示了如何使用scikit-learn库创建决策树、评估模型性能并进行可视化。在实际应用中，我们可以根据数据的特点和需求选择合适的最优属性选择方法。这次实验也让我对决策树有了更深的理解和看法，重点就是掌握决策树的决策理论以及最优属性的选择方法，实验过程中我也遇到了很多困难，比如对Python不熟悉对scikit-learn库中的函数不熟悉。最后，希望在之后的机器学习之旅我能更上一层楼，期待下一次机器学习算法实验。
决策树构造过程
qq_33700236的博客
05-16 4774
决策树构造过程 决策树的基本概念 我们这里介绍一下一个比较简单的机器学习系统----决策树. 它的概念最容易理解, 因为人类的许多决策实际上就是一个决策树. 通常使用的分类回归树（class and regress tree）是一个二叉树。它的形式一般为： 每个方框代表一个节点. 每个非叶子节点有2个分支, 一个是判定True, 一个判定False. 分别走两个不同的分支. 叶子节点具有决策权. 任何一个输入从root出发, 总是会达到且唯一到达一个叶子节点. 这就是决策树的工作原理。 决策树有两种节点：
决策树的构造
2301_79617030的博客
04-28 1268
递归结束的条件是:程序遍历完所有划分数据集的属性，或者每个分支下的所有实例都具有相同的分类。的所有分支上，如果某个分支下的数据属于同一类型，则当前无序阅读的垃圾邮件已经正确的划分数据分类，无需进一步对数据集进行分割，如果不属于同一类，则要重复划分数据子集，直到所有相同类型的数据均在一个数据子集内。划分数据集，由于特征值可能多于两个，因此可能存在大于两个分支的数据集划分。第一次划分之后，数据将被向下传递到树分支的下一个节点，在这个节点上，我们可以再次划分数据。如果待分类的事务可能划分在多个分类之中，则符合。
决策树构建（一）
sinat_42247418的博客
12-21 2074
什么是决策树 决策树的构建过程 决策树特征属性类型 决策树分割属性的选择
【机器学习实战】决策树——构造决策树
ZhShy
02-04 5555
文章目录决策树决策树特点决策树算法决策树流程数据：海洋生物数据一、信息增益使用python计算信息熵测试数据二、划分数据集按照给定特征划分数据集测试选择最好的数据集划分方式测试三、递归构建决策树多数表决创建树的函数代码测试： 决策树 决策树特点 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。 缺点：可能会产生过度匹配问题。 适用数据类型：数值型和标称型。 决策树算法 在构造决策树时，我们需要解决的第一个问题就是，当前数据集上哪个特征在划分数据分类时起决定性作用。为
决策树（一）——构建决策树
🅽🅸🅲🅺🅴🆁🅽🅴🅻 ⓃⒾⒸⓀⒺⓇⓃⒺⓁ
11-15 6518
决策树 说明：这篇博客是看李航老师的《统计学习方法》做的笔记总结，博客中有很多内容是摘选自李航老师的《统计学习方法》一书，仅供学习交流使用。 决策树（decision tree）是一种基本的分类与回归方法。主要讨论用于分类的决策树。 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。 简单来说，决策树就是一棵树，一颗决策树包含一个根节点、若干个内部结点和若干个叶
3.1决策树构造
weixin_41938314的博客
03-19 321
#3-1计算给定数据集的香农熵 from math import log def calcShannonEnt(dataSet): numEntries = len(dataSet): labelCounts = {} for featVec in dataSet: currentLabel = featVec[-1]#选取最后一列数据作为标签 ...
简单易懂！决策树及其构造
吊车尾小队
04-18 1167
简单详细易懂！决策树及其构造什么是决策树信息熵决策树的构造 什么是决策树 你是否玩过二十个问题的游戏，游戏的规则很简单：参与游戏的一方在脑海里想某个事物， 其他参与者向他提问题，只允许提20个问题，问题的答案也只能用对或错回答。问问题的人通过 推断分解，逐步缩小待猜测事物的范围。决策树的工作原理与20个问题类似，用户输入一系列数 据，然后给出游戏的答案。 信息熵 接下来介绍信息熵的概念，决策树的构造很大程度上需要信息熵这个工具 在上表中可以看到，有“不浮出水面”，“是否有脚蹼”两个特征，在构造决策
决策树建模完整流程
ywj_1991的博客
02-21 1万+
一.数据处理,(一) 数据预处理(二)训练、测试数据分割, 二.试探建模极限, 三.参数调优(预剪枝),1.参数网络扫描,2.参数评估,3.待调优参数列表 四.后剪枝调优,(一) 打印决策树相关信息,(二) 剪枝,五.模型提取,决策树建模完整流程主要有五个： 1.数据处理,2.试探建模极限,3.参数调优,4.后剪枝,5.模型提取本文只作流程介绍，完整代码见《决策树建模完整代码》
构建决策树
Debroon
11-03 723
如果新来一位男生/客户/面试者，根据上面的树状图就可以作出是否见面/贷款/入职的决定，所以该树状图就称决策树。决策树解决问题就是这样，天然的可以解决多分类问题，当然回归问题也可以。我们的划分思路是，划分后使得整体的信息熵降低，变得更加确定。决策树，是通过数据归纳，总结出条件判断的学习模式。CART 是基尼系数实现的，基尼系数没有。我们可以通过基尼系数来划分。我们可以通过信息熵来划分。那怎么构建一棵决策树呢？
机器学习算法——决策树
最新发布
10-21
### 决策树的介绍 决策树（Decision Tree）是一种有监督、非参数、简单、高效的机器学习算法，也是一种基本的分类与回归方法 [^1][^2][^3]。它以其直观易懂和易于实现的特点，成为许多初学者的首选，在数据挖掘和数据分析中是常用工具 [^1][^2]。决策树就像一个树结构，存在根节点及其子节点，子节点表示数据集的特征，可使用叶节点或终端节点进行预测，适用于分类数据集和连续数据集，在对对象进行分类或标记时非常有用 [^4]。 ### 决策树的原理 决策树通过树状结构对数据进行建模，以解决分类和回归问题 [^2]。它充分利用响应变量的信息，能够很好地克服噪声问题，其决策边界为矩形，对于真实决策也为矩形的样本数据集有着很好的预测效果 [^3]。决策树算法的构建通常采用递归贪婪算法，逐步选择最优的特征进行节点划分，以达到对数据的最佳分类或回归效果 [^4]。 ### 决策树的应用 决策树在分类和回归问题中表现出色，能提供易于解释的模型，帮助理解数据中的模式 [^1]。在实际应用中，决策树广泛用于医疗诊断、金融风险评估、市场营销等领域，通过对数据的分析和分类，为决策提供支持 [^1][^2][^3]。 ### 决策树的实现 在Python中可以使用`scikit-learn`库来实现决策树算法，以下是一个简单的示例代码： ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score # 加载鸢尾花数据集 iris = load_iris() X = iris.data y = iris.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 创建决策树分类器 clf = DecisionTreeClassifier() # 训练模型 clf.fit(X_train, y_train) # 进行预测 y_pred = clf.predict(X_test) # 计算准确率 accuracy = accuracy_score(y_test, y_pred) print(f"模型准确率: {accuracy}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值