决策树划分选择算法

人工智能导论:决策树算法求解分类预测问题 随便说点什么 最近好多好多的DDL啊啊啊…然后就搜索代码,结果在优快云上面就怎么搜都搜不到… 于是我就发了… 应该现在搜这个的小伙伴应该都快要到考试周了吧,赶紧把实训做完,然后去好好复习吧!加油啊,祝你们考一个好成绩嗷! 距离考研的时间也就一年了,说实话其实多少还是很害怕的,再加上我自身的一些问题,现在处于一个迷失的状态已经好久好久了,对于一些事情想改变却好像根本无能为力,就挺迷茫的吧… 等考试周过去了,好好利用这个寒假调整好状态,然后冲鸭! 与诸君共勉【HUG】 注意:本博客仅供参考!!! 任务描述 本 阅读详情


决策树是一种很常见的分类学习算法,大致基本算法流程如下(截自周志华老师《机器学习》):
决策树基本算法

依据结点(即数据属性)划分数据集,一般而言,随着划分过程的不断进行,我们希望决策树的分支节点所包含的样本尽可能属于同一个类别,即结点的“纯度”决策树的分类效果才有效果,否则如果在该分支节点下每个分支样本类别包含样本混杂,说明在该结点没有较好的划分数据的作用,因此如何选择最优划分属性成为决策树中最重要的步骤之一,以下有3种方式,但思想共通。

ID3决策树学习算法

ID3决策树学习算法就是以信息增益准则来选择划分属性。

信息熵

“信息熵”是度量样本集合纯度最常用的一种指标,也可以理解为样本类别不确定性的度量,下面为熵的定义:
E n t ( D ) = − ∑ k = 1 ∣ y ∣ p k l o g 2 p k Ent(D)= -\displaystyle\sum_{k=1}^{|y|} p_klog_2{p_k} Ent(D)=−k=1∑∣y∣​pk​log2​pk​
其中 p k p_k pk​表示样本集合 D D D中第 k k k类样本所占的比例 ( k = 1 , 2 , . . . , ∣ y ∣ ) (k=1,2,...,|y|) (k=1,2,...,∣y∣),规定:若 p = 0 p=0 p=0,则 p l o g 2 p = 0 plog_2{p}=0 plog2​p=0。
当样本集合 D D D中只有一类样本时,该样本集合纯度最高, E n t ( D ) Ent(D) Ent(D)的值为0;当样本集合 D D D中同时含有多个样本时,样本集合混乱, E n t ( D ) Ent(D) Ent(D)就会变大。所以一般来说 E n t ( D ) Ent(D) Ent(D)越小,说明该样本集合纯度越高;反之亦然。

信息增益

现在对样本集合 D D D进行划分,假定第一次划分根据的属性为样本属性 a a a,样本属性 a a a有 V V V个可能的取值 { a 1 , a 2 , . . . , a V a^1,a^2,...,a^V a1,a2,...,aV},就会产生 V V V个分支,其中第 m ( 0 < m < V ) m(0<m<V) m(0<m<V)个分支包含样本中所有在属性 a a a上取值为 a m a^m am的样本,这些样本重新组成集合 D m D^m Dm。根据熵公式计算出 D m D^m Dm的信息熵,考虑到 D m D^m Dm所包含的样本数与 D D D不同,为 D m D^m Dm的信息熵赋予权重 ∣ D m ∣ ∣ D ∣ \frac{|D^m|}{|D|} ∣D∣∣Dm∣​(表示 D m D^m Dm所含样本数与 D D D所含样本数之比),此时 D m D^m Dm调整后的信息熵为 ∣ D m ∣ ∣ D ∣ E n t ( D m ) \frac{|D^m|}{|D|}Ent(D^m) ∣D∣∣Dm∣​Ent(Dm),属性 a a a取值为 a m a^m am的样本数越多,其影响越大。由于属性 a a a有 V V V个取值,所以由 a a a属性划分下的信息熵为:
E n t ( D a ) = − ∑ m = 1 V ∑ k = 1 ∣ y ∣ ∣ D m ∣ ∣ D ∣ p k l o g 2 p k = ∑ m = 1 V ∣ D m ∣ ∣ D ∣ E n t ( D m ) Ent(D_a)= -\displaystyle\sum_{m=1}^{V}\displaystyle\sum_{k=1}^{|y|}\frac{|D^m|}{|D|} p_klog_2{p_k}=\displaystyle\sum_{m=1}^{V}\frac{|D^m|}{|D|}Ent(D^m) Ent(Da​)=−m=1∑V​k=1∑∣y∣​∣D∣∣Dm∣​pk​log2​pk​=m=1∑V​∣D∣∣Dm∣​Ent(Dm)
“信息增益”可以理解为在进行一次划分后原样本集合纯度所提高量的衡量指标,在进行第一次划分后的“信息增益”为:
G a i n ( D , a ) = E n t ( D ) − E n t ( D a ) = E n t ( D ) − ∑ m = 1 V ∣ D m ∣ ∣ D ∣ E n t ( D m ) Gain(D, a)=Ent(D)-Ent(D_a)=Ent(D)-\displaystyle\sum_{m=1}^{V}\frac{|D^m|}{|D|}Ent(D^m) Gain(D,a)=Ent(D)−Ent(Da​)=Ent(D)−m=1∑V​∣D∣∣Dm∣​Ent(Dm)
一般来说,信息增益越大,样本划分后提升的纯度越大,因此我们可以使用信息增益来选择划分属性,即选择属性 a a a使 G a i n ( D a ) Gain(D_a) Gain(Da​)最大。

C4.5决策树学习算法

由于ID3信息增益算法不能解决由属性取值多少带来的影响,如有一样本集合,每个样本有其独有的一个编号,现在划分属性选择样本编号,就会导致划分后样本的熵值为0,此时能得到最大限度的信息增益。但显然不能讲样本序号最为划分属性,由此训练出来的模型不具备泛化能力。
考虑到这一问题,产生了C4.5决策树算法,可以说是ID3算法的一个拓展,C4.5不直接使用信息增益,而是使用“增益率”来选择最优划分属性,增益率定义为:
G a i n _ r a t i o = G a i n ( D , a ) I V ( a ) Gain\displaystyle \_ratio=\displaystyle \frac{Gain(D,a)}{IV(a)} Gain_ratio=IV(a)Gain(D,a)​
其中 I V ( a ) = − ∑ m = 1 V ∣ D m ∣ ∣ D ∣ l o g 2 ∣ D m ∣ ∣ D ∣ IV(a)=-\displaystyle \sum_{m=1}^{V}\frac{|D^m|}{|D|}log_2\frac{|D^m|}{|D|} IV(a)=−m=1∑V​∣D∣∣Dm∣​log2​∣D∣∣Dm∣​
当这样定义之后,再次回到属性取值数量问题,如果还是以样本序号作为划分属性,此时 I V IV IV值将会迅速变大,从而拉低 G a i n _ r a t i o Gain\displaystyle \_ratio Gain_ratio,使属性取值过多的属性不能作为划分属性。
一般来说,信息增益率越大,对应属性越可能作为划分属性,解决问题!

CART决策树学习算法

CART决策树使用“基尼指数”来选择划分属性,样本集合的纯度用基尼值来度量:

G i n i ( D ) = ∑ k = 1 ∣ y ∣ ∑ k ′ ≠ k p k p k ′ = ∑ k = 1 ∣ y ∣ p k ( 1 − p k ) = 1 − ∑ k = 1 ∣ y ∣ p k 2 Gini(D)=\displaystyle \sum_{k=1}^{|y|}\displaystyle \sum_{k'\neq k}p_kp_{k'}=\displaystyle \sum_{k=1}^{|y|}p_k(1-p_k)=1-\displaystyle \sum_{k=1}^{|y|}p_k^2 Gini(D)=k=1∑∣y∣​k′​=k∑​pk​pk′​=k=1∑∣y∣​pk​(1−pk​)=1−k=1∑∣y∣​pk2​
∑ k ′ ≠ k p k p k ′ \displaystyle \sum_{k'\neq k}p_kp_{k'} k′​=k∑​pk​pk′​可以理解成在有放回的抽样中,依次抽两个样本,一样本类别为 k k k,一样本类别不为 k k k的概率,那么 ∑ k = 1 ∣ y ∣ ∑ k ′ ≠ k p k p k ′ \displaystyle \sum_{k=1}^{|y|}\displaystyle \sum_{k'\neq k}p_kp_{k'} k=1∑∣y∣​k′​=k∑​pk​pk′​就可以理解成有放回的抽取两个样本,其类别不一致的概率,这就是 G i n i Gini Gini指数的直观理解。因此,一般来说, G i n i Gini Gini指数越小,抽到类别不一致样本的概率就小,样本集合纯度越高。
假定选择属性 a a a作为划分节点,则定义划分后样本集合的 G i n i Gini Gini指数为:
G i n i _ i n d e x ( D , a ) = ∑ v = 1 V ∣ D v ∣ ∣ D ∣ G i n i ( D v ) Gini\_index(D,a)=\displaystyle\sum_{v=1}^{V}\frac{|D^v|}{|D|}Gini(D^v) Gini_index(D,a)=v=1∑V​∣D∣∣Dv∣​Gini(Dv)
与ID3算法类似, ∣ D v ∣ ∣ D ∣ \frac{|D^v|}{|D|} ∣D∣∣Dv∣​是 a a a属性下取值为 v v v的样本集合的 G i n i Gini Gini指数的权重。因此,我们的目标就变成寻找使划分后 G i n i Gini Gini指数最小的属性作为最优划分属性。



《机器学习》读书笔记 2021/6/23

机器学习作业2决策树.rar 决策树(decision tree)是一种基本的分类与回归方法,决策树模型呈树形结构,树中包含叶子节点与内部节点。本实验为利用MATLAB进行决策树算法的生成。实验数据为人民币模型,包含100,50,20,10元4种。 立即下载

相关推荐

IEEE Access投稿全流程解析:从初次提交到最终接收的完整指南

本文详细解析了IEEE Access期刊从初次投稿到最终接收的全流程,包括ORCID注册、论文投稿七步法、回稿再投流程及最终版提交等关键步骤。特别强调了4-6周快速同行评审的特点,为研究者提供了一份实用的投稿指南,帮助高效完成IEEE Access期刊投稿。

weixin_29273849的博客 916

【决策树分类器(DecisionTreeClassifier)】

是Scikit-learn库中的一个分类器类,它实现了决策树算法,用于处理分类问题。决策树是一种基本的监督学习算法,通过对输入数据集进行递归地划分,每个划分都将数据划分为更具体的类别。在训练过程中,决策树根据数据特征来构建树形结构,每个内部节点代表一个特征,每个叶节点代表一个类别。

武帝为此的博客 2620

ESP32 DMX512与RDM协议栈开发指南

DMX512-A是专业灯光控制领域广泛采用的串行通信标准,基于RS-485物理层实现确定性单向数据传输;RDM(Remote Device Management)则在其基础上扩展双向、可寻址、可配置的智能管理能力,满足现代舞台设备远程固件升级、自动发现与参数配置需求。二者共用同一总线但时序与帧结构严格隔离,对硬件定时精度、中断响应延迟及电气隔离提出极高要求。在嵌入式实践中,ESP32凭借Wi-Fi/蓝牙连接能力与丰富外设资源,成为构建低成本智能DMX节点的理想平台。esp_dmx协议栈正是面向该场景的高性能

weixin_34945060的博客 316

头歌平台(EduCoder)————数据挖掘算法原理与实践:决策树

第1关:决策树算法思想 任务描述 本关任务:根据本节课所学知识完成本关所设置的选择题。 相关知识 为了完成本关任务,你需要掌握决策树的相关基础知识。 第2关:决策树算法原理 任务描述 本关任务:根据本关所学知识,完成calcInfoGain函数。 相关知识 为了完成本关任务,你需要掌握: 信息熵 条件熵 信息增益 ...

dbdxmm的博客 1万+

U8二次开发CO-基于Net8调用COM对象

本文章介绍的U8二次开发CO技术,就是基于微软COM组件技术,使用微软开源的编程框架Net6/7/8/9来调用U8的COM组件,完成基本的登录认证,工作流处理,数据库操作等。

pccai的博客 5511

MWORKS赋能蓝桥杯智能装备数字化建模大赛:技术解析与实战指南

本文深入解析了如何利用MWORKS平台参加蓝桥杯智能装备数字化建模大赛。文章从认识MWORKS这一多领域统一建模仿真平台入手,详细阐述了构建包含控制算法与数字样机的动态系统模型的核心方法,并提供了从软件入门、分层建模到作品打磨的完整实战指南,助力参赛者掌握智能装备数字化设计的关键技能。

weixin_29279101的博客 383

决策树归纳(ID3属性选择度量)Java实现

ID3使用信息增益作为属性选择度量。该度量基于香农在研究消息的值或”信息内容“的信息论方面的先驱工作。该结点N代表或存放分区D的元组。选择具有最高信息增益的属性作为结点N的分裂属性。该属性使结果分区中对元祖分类所需要的信息量最小,并反映这些分区中的最小随机性或”不纯性“。这种方法使得对一个对象分类所需要的期望测试数目最小,并确保找到一颗简单的(但不必是最简单的)树。

zhyoulun的专栏 7119

手把手解决AutoDock安装那些坑:从autogrid报错到.map文件生成(Win10/11环境)

本文详细解析了在Win10/11环境下安装AutoDock时遇到的常见问题,特别是autogrid报错和.map文件生成失败的情况。通过实战验证的解决方案,包括环境变量设置、Python版本管理、文件权限调整等,帮助用户顺利完成安装并提升分子对接研究效率。

weixin_42548888的博客 200

Python编程实现基于信息熵进行划分选择的决策树算法

本篇是周志华老师的《机器学习》第4章 决策树 课后题4.3的实现,原题是: 试编程实现基于信息熵进行划分选择的决策树算法,并为表4.3中数据生成一颗决策树。 这里需要注意的是此数据集中,有的属性是离散的,有的属性是连续的,对于连续的属性,我们可以使用二分法将样本分为两个部分。 这个数据集可以从Dataset.py中粘贴: def watermelon3(): """ ...

仰起脸笑得像满月 1万+

Allegro如何画Photoplot_Outline操作指导

在用Allegro进行PCB设计的时候,最后进行光绘输出前,Photoplot_Outline是必备一个图形,所有在Photoplot_Outline中的图形将被输出,Photoplot_Outline以外的图形都将不被输出。如何绘制Photoplot_Outline,具体操作如下。如何画Photoplot_Outline操作指导。

weixin_54787054的博客 2641

MFC实现简单UDP通信(附完整源码)

MFC实现简单UDP通信(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 1113

机器学习算法——决策树6(划分属性选择实例)

本节讲解根据信息增益如何选择划分属性与算法实现,以西瓜数据集为例进行讲解。 1. 理论求信息增益 (理论参考:机器学习算法——决策树1(ID3决策树算法)_Vicky_xiduoduo的博客-优快云博客)。 表1 西瓜数据集2.0 编号 色泽 根蒂 敲声 纹理 脐部 触感 好瓜 1 青绿 蜷缩 浊响 清晰 凹陷 硬滑 是 2 乌黑 蜷缩 沉闷 清晰 凹陷 硬滑 是.

Vicky_xiduoduo的博客 4889

windows中搭建sonic云真机环境/云真机环境搭建-基于docker容器部署

基于Windows系统搭建Sonic远程云真机环境实现通过浏览器操作手机端系统

雾林小妖的博客 1019

决策树模型

基尼系数也用于表示一个样本集合中,随机选择的样本被分错的概率,假设数据集D的某个特征值A有K个不同的取值,第i个取值的概率为Pi,则第i个取值被分错的概率为1-Pi。信息增益(原始熵-条件熵)更大的,根据对不同特征的选择,来比较出不同特征选择下信息增益的大小,由信息增益最大的来作为子节点,同时也作为了其他节点的根节点,这样的算法叫ID3算法。(一般是以二为底数的,这是契合了二分法的思想,但笔者前文也说了,底数在机器学习里并不重要,因此也有其他的设法,这里如果设2为底数计算出来的熵值计量单位就是bit)。

2401_88885149的博客 762

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Python编程实现基于基尼指数进行划分选择的决策树(CART决策树)算法

本文是周志华老师的《机器学习》一书中第4章 决策树 的课后题第4.4题的实现。原题是: 试编程实现基于基尼指数进行划分选择的决策树算法,为表4.2中的数据生成预剪枝、后剪枝决策树,并与未剪枝决策树进行比较。 本文主要是不进行剪枝的CART决策树的实现,预剪枝与后剪枝的CART决策树实现分别可见Python编程实现预剪枝的CART决策树和Python编程实现后剪枝的CART决策树。如果发现文...

仰起脸笑得像满月 1万+

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

决策树算法(2) 案例实现

决策树算法(1) 算法原理 决策树算法(2) 案例实现 随机森林算法(3) 算法原理 随机森林算法(4) 案例实现 代码实现 职业 年龄 收入 学历 是否贷款 自由职业 28 5000 高中 是 工人 36 5500 高中 否 工人 42 2800 初中 是 白领 45 3300 小学 是 白领 25 10000 本科 是 白领 32 8000 硕士 否 ...

qq_25628891的博客 668

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

剪枝决策树原理与Python实现

文章目录一、决策树模型二、选择划分2.1 信息熵和信息增益2.2 增益率2.3 基尼指数三、剪枝3.1 预剪枝3.2 后剪枝3.3 剪枝示例3.4 预剪枝和后剪枝对比四、Python实现 一、决策树模型   决策树(Decision Tree)是一种常见的机器学习算法,而其核心便是“分而治之”的划分策略。例如,以西瓜为例,需要判断一个西瓜是否是一个好瓜,那么就可以根据经验考虑“西瓜是什么颜色?”,...

qq_43116030的博客 1864

编程实现基于信息熵进行划分选择的决策树算法,并为表4.3中数据生成一棵决策树

import numpy as np import pandas as pd from sklearn.utils.multiclass import type_of_target from decision_tree import treePlottter class Node(object): def __init__(self): self.feature_name = None # 特性的名称 self.feature_index = None #.

wjz0626的博客 5417

【海量数据挖掘/数据分析】之 决策树模型(决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例)

【海量数据挖掘/数据分析】之 决策树模型(决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例) 一、决策树模型 1、常用算法 2、属性划分策略 3、其他算法 三、决策树算法性能要求 四、 决策树模型创建 ( 递归创建决策树 ) 1 、 决策树模型创建 2 、 决策树创建算法 ( 递归 ) 3 、 递归操作 4 、 递归停止的条件 五、 决策树 树根属性 选择 六、信息增益 说明 1、 熵 和 信息 的数据组成 2 、 信息增

仙魁XAN 1万+

educoder机器学习-实验四-编程实现基于信息增益进行划分选择的决策树算法

这是educoder平台,机器学习-实验四-编程实现基于信息增益进行划分选择的决策树算法的代码详解与解决过程详解,创造不易,请大家点点赞,收藏藏!

m0_64351669的博客 2066

【人工智能基础05】决策树模型

决策树

hiliang521的博客 1722

【机器学习】西瓜书_周志华,python实现基于信息熵进行划分选择的决策树算法

python:实现基于信息熵进行划分选择的决策树算法 本文主要介绍本人用python基于信息熵进行划分选择的决策树代码实现,参考教材为西瓜书第四章——决策树。ps.本文只涉及决策树连续和离散两种情况,未考虑缺失值和剪枝。 首先摘取一些书上比较关键的理论知识: 1.决策树学习基本算法 显然,决策树是一种递归算法,递归最重要的一点是return条件的设置,这里主要有三种情况会产生return: 当...

六六六六神的博客 5307

【数据挖掘】决策树之ID3算法

在决策书中,如何衡量数据集的有序度至关重要。划分数据集的最大规则:将无序的数据变得更加有序,划分数据集前后信息发生的变化称为信息增益。香农熵表现为信息的期望值,熵越大,数据越混乱。另外一种度量集合是否无序的方法时基尼不纯度。 def calc_entropy(dataset):#香农熵的计算 lines = len(dataset) lables={} for curvect

Java&&大数据专栏 1784

scikit-learn 中决策树模型-参数说明、注解

目录scikit-learn 中决策树算法类库介绍重要参数`criterion` 特征选择标准对于分类决策树:关于基尼指数对于回归决策树以 squared_error 为例`splitter` 特征划分点选择标准`max_depth` 最大深度`max_features` 划分时考虑的最大特征数`min_samples_split` 叶子节点允许拆分的最小样本数`min_samples_leafi` 叶子节点的最小样本点数`min_weight_fraction_leaf` min_weight_fract

Sail的博客 3758

决策树2-ID3算法

决策树-2 ID3算法 决策树-1基本概念中已经提到了ID3算法,这篇博客再梳理一遍,算法描述部分搬运了统计学习方法的内容,更详细内容可以参考这本书。 ID3 算法的思路 输入:训练集 D, 特征集 A, 阈值 ε; 分叉:最优属性划分依据是 最大信息增益; 结束条件:用完所有特征,特征信息增益很小,树的深度超过限制; 返回:一颗...

elgong的博客 189

scikit-learn决策树算法类库

scikit-learn决策树算法类库内部实现是使用了调优过的CART树算法,既可以做分类,又可以做回归。 分类决策树的类对应的是DecisionTreeClassifier 回归决策树的类对应的是DecisionTreeRegressor。 两者的参数定义几乎完全相同,但是意义不全相同。 参数 DecisionTreeClassifier DecisionTreeRegres...

Gfqwy2021 452
下一篇: 朴素贝叶斯分类、半朴素贝叶斯分类算法
helluy
博客等级 码龄6年 202粉丝 18原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值