机器学习之——CART决策树算法

CART决策树算法：基尼系数与分类树生成详解
原创 已于 2023-09-12 21:00:12 修改 · 3.2k 阅读 · 38 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #算法 #决策树

于 2023-09-12 20:04:27 首次发布
本文介绍了CART决策树算法，包括其在分类任务中的应用，特别是如何通过基尼系数评估特征的重要性。详细解释了基尼系数的计算方法，并通过实例说明了决策树的生成过程。

目录

一、CART决策树算法简介

二、基尼系数

三、决策树的生成

一、CART决策树算法简介

CART（Classification And Regression Trees 分类回归树）算法是一种树构建算法，既可以用于分类任务，又可以用于回归。相比于 ID3 和 C4.5 只能用于离散型数据且只能用于分类任务，CART 算法的适用面要广得多，既可用于离散型数据，又可以处理连续型数据，并且分类和回归任务都能处理。


本文仅讨论基本的CART分类决策树构建，不讨论回归树和剪枝等问题

首先，我们要明确以下几点：
1. CART算法是二分类常用的方法，由CART算法生成的决策树是二叉树，而 ID3 以及 C4.5 算法生成的决策树是多叉树，从运行效率角度考虑，二叉树模型会比多叉树运算效率高。
2. CART算法通过基尼(Gini)指数来选择最优特征。

二、基尼系数

基尼系数代表模型的不纯度，基尼系数越小，则不纯度越低，注意这和 C4.5的信息增益比的定义恰好相反。

分类问题中，假设有K个类，样本点属于第k类的概率为pk，则概率分布的基尼系数定义为:

最低0.47元/天 解锁文章
AI_dataloads
关注
决策树之CART算法
ACdreamer
03-27 8万+
在之前介绍过决策树的ID3算法实现，今天主要来介绍决策树的另一种实现，即CART算法。   Contents      1. CART算法的认识    2. CART算法的原理    3. CART算法的实现     1. CART算法的认识      Classification And Regression Tree，即分类回归树算法，简称CART算法，它是决策树的一种实
Cart决策树算法
bug永流传
01-19 948
Cart（Classification And Regression Tree）决策树作为决策树算法分支的一类，是一类非线性的模型，从CART决策树的全称不难看出这是一类可用于分类与回归的决策树。 CART算法主要由以下两步组成： 决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大。 决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。 CAR...
CART 算法详细解释
最新发布
m0_64132509的博客
10-29 1332
CART 算法，全称为分类与回归树（Classification and Regression Trees），是一种广泛使用的决策树算法，由 Leo Breiman 等人在 1984 年提出。它可用于解决分类问题（输出离散类别）和回归问题（输出连续值）。CART 通过递归地将数据集分割成更纯的子集来构建树结构，每个分割基于特征和阈值的选择，以最小化不纯度（对于分类）或误差（对于回归）。以下将详细解释 CART 的分类与回归逻辑，并重点包括基尼指数的计算与应用原理。
决策树--CART算法
m0_51456926的博客
01-22 1万+
文章目录1.Crat算法(分类树)1.1基尼系数1.2连续型特征处理1.3CART算法1.5 举例说明1.5 代码2.回归树 1.Crat算法(分类树) 1.1基尼系数 CART是基于基尼(Gini)系数最小化准则来进行特征选择，生成二叉树。 基尼系数代表了模型得不纯度，基尼系数越小，则不纯度越低，特征越好。这点和信息增益是相反的。 在分类问题中，假设有K各类别，第k个类别概率为pkp_{k}pk​,则基尼系数的表达式为： Gini(D)=1−∑k=1Kpk2Gini(D)=1-\sum_{k=1}^{K}
CART 算法——决策树
laosao_66的博客
10-09 5920
CART是英文“classification and regression tree”的缩写，翻译过来是分类与回归树，与前面说到的ID3、C4.5一致，都是决策树生成的一种算法，同样也由特征选择、树的生成以及剪枝组成，既可以用于分类也可以用于回归。CART算法由决策树的生成以及决策树剪枝两部分组成。决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方差最小化准则，对分类树用基尼指数最小化准则，进行特征选择，生成二叉树。分类树与回归树的一个区别是：如果目标变量是，如果目标变量是。
决策树__CART算法
weixin_40533189的博客
05-19 512
CART决策树的生成就是递归地构建二叉树的过程.CART用基尼(Gini)系数最小化准则来进行特征选择,生成二叉树. Gini系数计算: CART算法例子: 分别计算他们的Gini 系数增益,取Gini系数增益值最大的属性作为决策树的根节点属性,根节点的Gini系数: Gini(是否拖欠贷款) = 数据 : 序号 是否有房 婚姻状况...
机器学习————决策树
m0_73044708的博客
04-28 827
数据集采用周志华《机器学习》课后习题4.3的西瓜数据集色泽：表示西瓜的外皮颜色，包括青绿、乌黑、浅白。根蒂：表示西瓜的根部状况，有蜷缩、稍蜷、硬挺三种。敲声：敲击西瓜时发出的声音，有浊响和沉闷两种。纹理：西瓜表面的纹理，分为清晰和模糊两种。脐部：西瓜脐部的形状，有凹陷和稍凹两种。触感：摸到西瓜表面的感觉，有软粘和硬滑两种。密度：通常是指西瓜的果实密度，即其重量与体积的比值。本次实验不考虑第8个特征，所以数据集如下：色泽：0表示青绿，1表示乌黑，2表示浅白。
机器学习知识图谱——决策树算法（Decision Tree）
moton2017的博客
05-29 1301
决策树是一种 基于树结构的监督学习算法，可用于分类（Classification）和回归（Regression）任务。它通过对特征进行分裂，构造一条条从根节点到叶节点的“决策路径”，从而完成预测。 目标：通过学习特征与标签之间的关系，生成一颗“可以用于判断未来数据”的决策树。
机器学习笔记21——决策树之CART算法原理及python实现案例
weixin_45666566的博客
08-12 1万+
CART算法引言1、概述2、CART算法2.1 CART生成2.1.1 回归树的生成2.1.2 分类树的生成2.2 CART剪枝2.2.1 剪枝，形成一个子树序列2.2.2 在剪枝得到的子树序列T0,T1,T2,T3......TnT_0,T_1,T_2,T_3......T_nT0​,T1​,T2​,T3​......Tn​中通过验证选取最优子树TαT_\alphaTα​ 引言 \quad \quad在决策树、ID3、C4.5算法一文中，简单地介绍了决策树模型，以及决策树生成算法ID3算法和ID3算法的改
Python机器学习之决策树算法实例详解
09-21
决策树算法是机器学习中的一种基础且广泛应用的分类方法，尤其在Python的机器学习领域中。它通过构建一棵树状模型来表示一个决定过程或预测模型。决策树以易于理解和解释著称，即使对于非技术背景的人来说，也能相对...
数据挖掘十大经典算法--CART: 分类与回归树
热门推荐
小硒---代码无疆
05-02 7万+
一、决策树的类型  在数据挖掘中，决策树主要有两种类型: 分类树 的输出是样本的类标。 回归树 的输出是一个实数 (例如房子的价格，病人呆在医院的时间等)。 术语分类和回归树 (CART) 包含了上述两种决策树, 最先由Breiman 等提出.分类树和回归树有些共同点和不同点—例如处理在何处分裂的问题。 分类回归树(CART,Classification And Regressi
《机器学习实战》学习笔记第九章 —— 决策树之CART算法
alince20008的博客
08-18 294
相关博文： 《机器学习实战》学习笔记第三章 —— 决策树 主要内容： 一.CART算法简介 二.分类树 三.回归树 四.构建回归树 五.回归树的剪枝 六.模型树 七.树回归与标准回归的比较 一.CART算法简介 1.对于上一篇博客所介绍的决策树，其使用的算法是ID3算法或者是C4.5算法，他们都是根据特征的所有取值情况来进行分割结...
决策树2 -- CART算法
xueyingxue001的专栏
02-24 4629
介绍          CART是在给定输入变量X条件下，输出随机变量Y的条件概率分布的学习方法。          CART假设决策树是二叉树，内部节点特征取值为“是”或“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样决策树等价于递归的二分每个特征(即使数据有多个取值，也把数据分成两部分)          CART算法由以下两步组成：
CART决策树
weixin_33813128的博客
09-18 152
CART（Classification and Regression tree）分类回归树由L.Breiman,J.Friedman,R.Olshen和C.Stone于1984年提出。ID3中根据属性值分割数据，之后该特征不会再起作用，这种快速切割的方式会影响算法的准确率。CART是一棵二叉树，采用二元切分法，每次把数据切成两份，分别进入左子树、右子树。而且每个非叶子节点都有两个孩子，所以CAR...
决策树——CART算法
ProgramMonkey_z的博客
02-18 642
决策树——CART算法1.基尼值2.基尼指数 CART(Classification and Regression Tree)算法是一种构造决策树的算法。它是以基尼指数作为选择划分属性的评价标准，与信息熵类似，基尼指数越小意味着数据的纯度越高 1.基尼值 基尼值定义为： 其中： D —— 样本集合 Pk —— 第k类样本所占比例（k取1,2,…,|y|） 基尼值代表了从样本集合中随机选取两个样本...
决策树-CART算法
张俊红的个人博客
09-16 926
总第80篇01|前言：本篇接着上一篇决策树详解，CART是英文“classification and regression tree”的缩写，翻译过来是分类与回归树，与前面说到的ID3、...
决策树之CART 算法
VEGIOS的博客
09-10 6088
我们可以把决策树分为 ID3 算法、C4.5 算法和 CART 算法。今天我来带你学习 CART 算法。CART 算法，英文全称叫做 Classification And Regression Tree，中文叫做分类回归树。ID3 和 C4.5 算法可以生成二叉树或多叉树，而 CART 只支持二叉树。同时 CART 决策树比较特殊，既可以作分类树，又可以作回归树。 什么是分类树，什么是回归树呢？我用下面的训练数据举个例子，你能看到不同职业的人，他们的年龄不同，学习时间也不同。如果我构造了一棵决策树，想要基于
决策树算法 (CART分类树)
枫小秋 的博客
03-17 9486
决策树算法 (ID3，C4.5) CART回归树 决策树的后剪枝 　　 　　在决策树算法原理(ID3，C4.5)中，提到C4.5的不足，比如模型是用较为复杂的熵来度量，使用了相对较为复杂的多叉树，只能处理分类不能处理回归。对这些问题，CART(Classification And Regression Tree)做了改进，可以处理分类，也可以处理回归。 1. CART分类树算法的最优特征选择方法 　　ID3中使用了信息增益选择特征，增益大优先选择。C4.5中，采用信息增益比选择特征，减少
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值