信息增益生成决策树

最新推荐文章于 2023-10-12 08:44:14 发布
最新推荐文章于 2023-10-12 08:44:14 发布
阅读量7.5k 收藏 68
点赞数 9
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_38290604/article/details/90340533
本文通过一个西瓜数据集，详细介绍了如何构造决策树。首先计算数据集的信息熵，然后针对色泽、根蒂、敲声、纹理、脐部、触感等属性计算信息增益，最终依据信息增益最大的属性——纹理，开始构建决策树。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先查看数据集

在这里插入图片描述
我们用这个数据集来构造决策树，判断一个新的西瓜是否为好瓜。

决策树的构造

计算数据集的信息熵

首先观察数据集DDD，发现数据集DDD中有好瓜和坏瓜两个类别，其中好瓜占比p1=817p_1=\frac {8}{17}p1​=178​，坏瓜占比p2=917p_2=\frac {9}{17}p2​=179​,计算出数据集DDD的信息熵为
Ent(D)=−∑k=12pklog2pk=−(817log2817+917log2917)=0.998Ent(D)=-\sum_{k=1}^{2}p_klog_2p_k=-(\frac{8}{17}log_2\frac{8}{17}+\frac{9}{17}log_2\frac{9}{17})=0.998Ent(D)=−k=1∑2​pk​log2​pk​=−(178​log2​17</

最低0.47元/天 解锁文章

200万优质内容无限畅学
根据信息增益率构造决策树_决策树--信息增益，信息增益比，Geni指数
weixin_42518981的博客
01-09 2423
决策树 是表示基于特征对实例进行分类的树形结构 从给定的训练数据集中，依据特征选择的准则，递归的选择最优划分特征，并根据此特征将训练数据进行分割，使得各子数据集有一个最好的分类的过程。决策树算法3要素：特征选择决策树生成决策树剪枝部分理解：关于决策树生成决策树的生成过程就是 使用满足划分准则的特征不断的将数据集划分为纯度更高，不确定性更小的子集的过程。对于当前数据集D的每一次的划分，都希...
根据信息增益率构造决策树_机器学习实战：决策树（一）信息增益
weixin_34725044的博客
02-01 1891
优快云：https://blog.youkuaiyun.com/weixin_45814668微信公众号：qiongjian0427Git：https://github.com/qiongjian/Machine-learning/​github.com运行环境：anaconda—jupyter notebookPython版本：Python31. 简介 k-近邻算法最大的缺点就是无法给出数据的内在含义，决...
【机器学习】采用信息增益、信息增益率、基尼指数来建造决策树。
qq_49192977的博客
10-28 4149
一.创建数据集 乳腺癌数据集breast-cancer.txt含有10个属性（包括决策属性）共286条样本。接下来我将一半样本作训练集，一半样本作测试集。 来源（UCI Machine Learning Repository: Breast Cancer Data Set） 属性信息 1. Class: no-recurrence-events, recurrence-events 2. age: 10-19, 20-29, 30-39, 40-49, 50-59, 60-69, 70-79, 80
机器学习实验3 基于信息增益率的决策树模型
最新发布
weixin_51703554的博客
10-12 656
这也是对python数据处理、程序设计的能力考验，有的操作调用方法就可以较快实现，如ndarray的合并、列表求出现次数最多的元素。3、根据选定的属性及该属性取值value，对数据集进行筛选，只保留该属性列值为value的行，并且去除该属性列，因为后面还要递归处理，这列还保留的话，可能会在一个分支上多次使用这个属性进行划分。可以用于递归的数据只有一种属性，此时为叶节点，类别确定为出现的次数最多的类别。可以看到各个特征的信息增益率，由于决策树是多层的，可能在不同的分支对不同的属性信息增益率不同。
【ML】决策树的构建（根据信息增益、增益率、基尼指数）
学无止境、积少成多、厚积薄发
12-28 2166
1. 决策树介绍 决策树【Decision Tree，DT】是一类较为常见的「机器学习」方法，DT既可以作为分类算法，也可以作为回归算法。 举个分类的例子： 在相亲的时候，找对象的顺序应该是： Q：性别要求？ A：不是女的不要。 Q：年龄要求？ A：大于我5岁的不要。 Q：专业要求？ A：非计算机专业的不要？ … 为了更好的表示上面的这些问题，我们将其画成一张树状图： 上面的这棵树就是我们找对象的决策过程，圆角矩形代表了判断条件，椭圆代表了决策结果。通过性别、年龄和专业这几个属性，最终，得出最后的决策。
python实现基于信息增益的决策树归纳
09-19
在Python中实现决策树时，通常会用到像scikit-learn这样的库，但这里我们将讨论一个基于自定义代码的实现，特别是基于信息增益的决策树归纳。 信息增益是决策树算法中用于选择最佳特征进行划分的一个重要指标。它...
决策树之用信息增益选择最优特征
躺平yyds的博客
05-12 3122
决策树之用信息增益选择最优特征 熵 ​ 熵的定义: 熵（shāng），热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。 在决策树中，信息增益是由熵构建而成，表示的是[随机变量的不确定性]，不确定性越大，代表着熵越大。随机变量的取值等概率分布时，相应的熵最大，换句话说，特征的所有取值概率相同时，包含的信息是最多的，就是不确定性最大的情况。 熵和随机变量的分布相关，所以写成： H(p)=−∑i=1npilog⁡pi H(p)=-\sum_{i=1}^{n} p_{i
简单python代码实现决策树计算信息增益_机器学习笔记之信息熵、信息增益和决策树(ID3算法)...
weixin_33503998的博客
02-12 1975
决策树算法：优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关的特征数据。缺点：可能会产生过度匹配问题。适用数据类型：数值型和标称型。算法原理：决策树是一个简单的为输入值选择标签的流程图。这个流程图由检查特征值的决策节点和分配标签的子叶节点组成。为输入值选择标签，我们以流程图的初始决策节点(即根节点)开始。此节点包含一个条件，检查输入值的特征之一，基于该特征的值选择一个分...
用信息增益比构建决策树,实现李航统计学习方法第五章案例
howard789的博客
02-10 1242
李航<统计学习方法>第五章案例 5.3决策树的生成 Page77 书中给的答案 用python实现的并打印生成的决策树 代码 import numpy as np import pandas as pd class Node(): def __init__(self,node_id ,content=None,complete_featrue...
决策树（ID3)——用信息增益来划分
m0_57326685的博客
05-23 7175
对于刚刚开始学习决策树的同学们来说，可能对建立一个决策树有一些疑惑，这篇文章主要是简略的介绍用信息增益来建立一个决策树的简单过程。 文章可能会有一些错误，欢迎大家讨论学习。 1.信息熵 在了解信息增益前，我们必须要清楚信息熵。信息熵的公式 yes 50 no 60 这个分类的信息熵：Info(D)= 2.信息增益 ...
基于信息增益的决策树（python）
11-16
自己用Python3.6.1 写的基于信息增益的决策树，信息熵函数、信息增益函数、多数表决函数、产生决策树的函数写的都比较清楚，直接下载放在python环境中就能出结果，数据用的是周志华老师的《机器学习》的表4.3。
c4.5基于信息增益比的多分类决策树python实现
12-08
c4.5基于信息增益比的多分类决策树python实现，包含数据集，运行结果以字典的形式进行存储
基于信息增益的决策树算法（附MATLAB代码）
weixin_38505222的博客
12-18 6799
基于信息增益的决策树算法（附MATLAB代码） 最近在学机器学习，本篇文章的内容正好是作业内容，所以拿来分享一下，顺便捋一下思路。下面内容只涉及到决策树学习基本算法(伪代码)、信息增益的计算和matlab代码实现。决策树算法原理不再赘述，请自行百度。水平有限，如有错误，欢迎指正！ 一、决策树学习基本算法 二、 信息增益的计算 1.信息熵 “信息熵”（information entropy）是度量样...
根据信息增益率构造决策树_一文帮你搞懂何为信息增益——决策树必备
weixin_35078004的博客
02-01 1626
一、何为决策树决策树是监督学习算法之一，并且是一种基本的分类与回归方法；决策树也分为回归树和分类树，本文讨论的是分类树。如果了解或者学过数据结构，肯定对"树"这个概念是不陌生的，在此基础上学习掌握决策树也会更加容易，下面通过一个小例子帮助理解何为决策树。下图所示流程图即为一个决策树，矩形代表判断模块、椭圆形则代表终止模块，表示已经得出结论可以终止程序的运行；左右箭头表示分支，可以通过它到达另一判断...
信息增益与决策树
六轱辘的专栏
05-07 5906
简单介绍决策树模型，其中的特征选择会用到信息增益的概念。
决策树信息增益
厚积薄发的博客
12-16 969
决策树和集成算法都是树模型 决策树：从根节点一步步走到叶子节点，所有的数据都会落到叶子节点，既可以做分类也可以做回归。 一颗树有三种节点组成，根节点，中间几点，叶子节点。根节点是第一个选择节点，也是最重要的一个选择特征。叶子节点是存放最终的结果。 决策树的训练和测试 训练是建立一棵树。 测试是让数据从根节点走到叶子节点。 如何切分特征： 通过一种衡量标准，计算在不同特征下的值。选择最...
决策树---信息增益
Huanghuali_的博客
10-27 1万+
文章目录一、什么是信息增益？二、决策树的构造引入包1.信息增益2.划分数据集3.递归构建决策树三、在python中使用Matplotlib注解绘制树形图1.Matplotlib注解2.构造注解树四.测试与储存分类器1.使用决策树执行分类2.决策树的存储总结 一、什么是信息增益？ 划分数据集的之前之后信息发生的变化称为信息增益，知道如何计算信息增益，就可以计算每个特征值划分数据集获得的信息增益，获取信息增益最高的特征就是最好的选择。 熵定义为信息的期望值，即计算所有类别所有可能包含的信息期望值，通过以下公式得
【海量数据挖掘/数据分析】之 决策树模型（决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例）
热门推荐
仙魁XAN
07-04 1万+
【海量数据挖掘/数据分析】之 决策树模型（决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例） 一、决策树模型 1、常用算法 2、属性划分策略 3、其他算法 三、决策树算法性能要求 四、 决策树模型创建 ( 递归创建决策树 ) 1 、 决策树模型创建 2 、 决策树创建算法 ( 递归 ) 3 、 递归操作 4 、 递归停止的条件 五、 决策树 树根属性 选择 六、信息增益 说明 1、 熵 和 信息 的数据组成 2 、 信息增
基于信息增益的ID3决策树介绍。
繁城落叶
03-17 6240
这篇文章介绍一下一种常见的机器学习算法：决策树。这篇文章的主要是根据《机器学习》中的知识点汇总的，其中使用了《机器学习实战》的代码。关于决策树中基本信息以及公式更加推荐看一看《机器学习》这本书，书中不仅仅介绍了ID3决策树，而且还包含了C4.5以及CART决策树的介绍。所以本篇文章将使用西瓜书（也就是《机器学习》，以后都用西瓜书代替）中的数据集来进行测试。决策树的介绍。顾名思义，决策树这个名字可以分
机器学习中信息增益生成决策树和朴素贝叶斯的结果不一样怎么办
05-19
信息增益生成决策树和朴素贝叶斯是两种不同的机器学习算法，它们处理数据的方式和目的也不同。因此，它们得到的结果可能会不同。 如果你的数据集比较小，那么这种不同可能并不会对你的模型产生太大的影响。但是，如果你的数据集很大，那么这种不同可能会对你的模型产生很大的影响，因为不同的算法可能会得到不同的结果，这可能会导致你的模型的准确性受到影响。 如果你发现信息增益生成决策树和朴素贝叶斯的结果不一致，那么你需要评估这两个算法的优缺点，以确定哪个算法更适合你的数据集和问题。你还可以尝试使用其他机器学习算法来比较结果，以确定哪个算法最适合你的数据集和问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值