一步一步学习 CART 算法

ID3 C4.5 CART决策树原理 目录一. ID31.1 信息增益1.2 损失函数二. C4.52.1 信息增益比2.2 损失函数三. CART3.1 基尼指数(分类树)3.2 损失函数(分类树)3.3 均方差最小(回归树)四. 区别参考 一. ID3 1.1 信息增益        ID3算法构建决策树的过程简单概括起来就是,自根结点开始,选择信息增益最大的特征作为根结点对应的特征,并依据该特征的可能取值将训练数据分配到不同的子结点,对子结点进行同样的操作,若子结点的所 阅读详情

作者:chen_h
微信号 & QQ:862251340
微信公众号:coderpai


只有当人们可以清楚地阅读和理解其决策时,算法才是透明的。 尽管深度学习是当今机器学习的超级明星,但它是一种不透明的算法,我们不知道决策的原因。 在此,决策树算法仍然保持其受欢迎程度,因为它们可以产生透明的决策。 ID3使用信息增益,而C4.5使用增益比进行分割。 这里,CART是一种替代决策树构建算法。 它可以处理分类和回归任务。 此算法使用名为gini index的新度量标准为分类任务创建决策点。 我们将从头开始逐步提及CART决策树示例。

我们将在ID3中处理相同的数据集。 根据 Outlook,Temperature,humidity 和 wind 因子,有14个高尔夫球场决定。

DayOutlookTemp.HumidityWindDecision
1SunnyHotHighWeakNo
2SunnyHotHighStrongNo
3OvercastHotHighWeakYes
4RainMildHighWeakYes
5RainCoolNormalWeakYes
6RainCoolNormalStrongNo
7OvercastCoolNormalStrongYes
8SunnyMildHighWeakNo
9SunnyCoolNormalWeakYes
10RainMildNormalWeakYes
11SunnyMildNormalStrongYes
12OvercastMildHighStrongYes
13OvercastHotNormalWeakYes
14RainMildHighStrongNo

基尼指数

基尼指数 (gini index) 是 CART 中分类任务的度量标准。它存储每个类别的平方概率的总和,我们可以得到如下:

Gini=1–Σ(Pi)2fori=1tonumberofclassesGini = 1 – Σ (Pi)^2 for i=1 to number of classesGini=1–Σ(Pi)2fori=1tonumberofclasses

Outlook 因子

Outlook 是一个标签因子。它可以是 sunny,overcast 或者 rain。我们来总结一下 Outlook 的特征属性和决策。

OutlookYesNoNumber of instances
Sunny235
Overcast404
Rain325

Gini(Outlook=Sunny)=1–(2/5)2–(3/5)2=1–0.16–0.36=0.48Gini(Outlook=Sunny) = 1 – (2/5)^2 – (3/5)^2 = 1 – 0.16 – 0.36 = 0.48Gini(Outlook=Sunny)=1–(2/5)2–(3/5)2=1–0.16–0.36=0.48

Gini(Outlook=Overcast)=1–(4/4)2–(0/4)2=0Gini(Outlook=Overcast) = 1 – (4/4)^2 – (0/4)^2 = 0Gini(Outlook=Overcast)=1–(4/4)2–(0/4)2=0

Gini(Outlook=Rain)=1–(3/5)2–(2/5)2=1–0.36–0.16=0.48Gini(Outlook=Rain) = 1 – (3/5)^2 – (2/5)^2 = 1 – 0.36 – 0.16 = 0.48Gini(Outlook=Rain)=1–(3/5)2–(2/5)2=1–0.36–0.16=0.48

然后,我们将计算 Outlook 特征的基尼指数的加权和。

Gini(Outlook)=(5/14)x0.48+(4/14)x0+(5/14)x0.48=0.171+0+0.171=0.342Gini(Outlook) = (5/14) x 0.48 + (4/14) x 0 + (5/14) x 0.48 = 0.171 + 0 + 0.171 = 0.342Gini(Outlook)=(5/14)x0.48+(4/14)x0+(5/14)x0.48=0.171+0+0.171=0.342

Temperature 因子

同样,Temperature 也是一个标签因子,它可能有3个不同的值:cool,hot 和 mild。让我们总结 Temperature 特征的决策。

TemperatureYesNoNumber of instances
Hot224
Cool314
Mild426

Gini(Temp=Hot)=1–(2/4)2–(2/4)2=0.5Gini(Temp=Hot) = 1 – (2/4)^2 – (2/4)^2 = 0.5Gini(Temp=Hot)=1–(2/4)2–(2/4)2=0.5

Gini(Temp=Cool)=1–(3/4)2–(1/4)2=1–0.5625–0.0625=0.375Gini(Temp=Cool) = 1 – (3/4)^2 – (1/4)^2 = 1 – 0.5625 – 0.0625 = 0.375Gini(Temp=Cool)=1–(3/4)2–(1/4)2=1–0.5625–0.0625=0.375

Gini(Temp=Mild)=1–(4/6)2–(2/6)2=1–0.444–0.111=0.445Gini(Temp=Mild) = 1 – (4/6)^2 – (2/6)^2 = 1 – 0.444 – 0.111 = 0.445Gini(Temp=Mild)=1–(4/6)2–(2/6)2=1–0.444–0.111=0.445

我们将计算 Temperature 特征的基尼指数的加权和。

Gini(Temp)=(4/14)x0.5+(4/14)x0.375+(6/14)x0.445=0.142+0.107+0.190=0.439Gini(Temp) = (4/14) x 0.5 + (4/14) x 0.375 + (6/14) x 0.445 = 0.142 + 0.107 + 0.190 = 0.439Gini(Temp)=(4/14)x0.5+(4/14)x0.375+(6/14)x0.445=0.142+0.107+0.190=0.439

Humidity 因子

humidity 因子是二元特征,它可以是 high 或者 normal。

HumidityYesNoNumber of instances
High347
Normal617

Gini(Humidity=High)=1–(3/7)2–(4/7)2=1–0.183–0.326=0.489Gini(Humidity=High) = 1 – (3/7)^2 – (4/7)^2 = 1 – 0.183 – 0.326 = 0.489Gini(Humidity=High)=1–(3/7)2–(4/7)2=1–0.183–0.326=0.489

Gini(Humidity=Normal)=1–(6/7)2–(1/7)2=1–0.734–0.02=0.244Gini(Humidity=Normal) = 1 – (6/7)^2 – (1/7)^2 = 1 – 0.734 – 0.02 = 0.244Gini(Humidity=Normal)=1–(6/7)2–(1/7)2=1–0.734–0.02=0.244

我们将计算 Humidity 特征的基尼指数的加权和。

Gini(Humidity)=(7/14)∗0.489+(7/14)∗0.244=0.367Gini(Humidity) = (7/14) * 0.489 + (7/14) * 0.244 = 0.367Gini(Humidity)=(7/14)∗0.489+(7/14)∗0.244=0.367

wind 因子

wind 也是一个二元标签,它可以是 weak 或者 strong。

WindYesNoNumber of instances
Weak628
Strong336

Gini(Wind=Weak)=1–(6/8)2–(2/8)2=1–0.5625–0.062=0.375Gini(Wind=Weak) = 1 – (6/8)^2 – (2/8)^2 = 1 – 0.5625 – 0.062 = 0.375Gini(Wind=Weak)=1–(6/8)2–(2/8)2=1–0.5625–0.062=0.375

Gini(Wind=Strong)=1–(3/6)2–(3/6)2=1–0.25–0.25=0.5Gini(Wind=Strong) = 1 – (3/6)^2 – (3/6)^2 = 1 – 0.25 – 0.25 = 0.5Gini(Wind=Strong)=1–(3/6)2–(3/6)2=1–0.25–0.25=0.5

Gini(Wind)=(8/14)∗0.375+(6/14)∗0.5=0.428Gini(Wind) = (8/14) * 0.375 + (6/14) * 0.5 = 0.428Gini(Wind)=(8/14)∗0.375+(6/14)∗0.5=0.428

决策树构建

我们计算每个特征的基尼指数的值,根节点是 Outlook ,因为基尼指数最低。

FeatureGini index
Outlook0.342
Temperature0.439
Humidity0.367
Wind0.428

我们可以得到决策树为:

在这里插入图片描述

你可能从图中也注意到了,如果是 overcast ,那么决策肯定是 yes,也就是说 overcast 叶子节点已经结束分裂了。

在这里插入图片描述

我们将在以下步骤中将上面相同的原则应用于这些子数据集。

我们来集中注意力来看看 Outlook = sunny 的情况,我们需要分别计算 Temperature,humidity 和 wind 因子的基尼指数得分。

DayOutlookTemp.HumidityWindDecision
1SunnyHotHighWeakNo
2SunnyHotHighStrongNo
8SunnyMildHighWeakNo
9SunnyCoolNormalWeakYes
11SunnyMildNormalStrongYes

Outlook=sunny时,Temp 的基尼指数

TemperatureYesNoNumber of instances
Hot022
Cool101
Mild112

Gini(Outlook=SunnyandTemp.=Hot)=1–(0/2)2–(2/2)2=0Gini(Outlook=Sunny and Temp.=Hot) = 1 – (0/2)^2 – (2/2)^2 = 0Gini(Outlook=SunnyandTemp.=Hot)=1–(0/2)2–(2/2)2=0

Gini(Outlook=SunnyandTemp.=Cool)=1–(1/1)2–(0/1)2=0Gini(Outlook=Sunny and Temp.=Cool) = 1 – (1/1)^2 – (0/1)^2 = 0Gini(Outlook=SunnyandTemp.=Cool)=1–(1/1)2–(0/1)2=0

Gini(Outlook=SunnyandTemp.=Mild)=1–(1/2)2–(1/2)2=1–0.25–0.25=0.5Gini(Outlook=Sunny and Temp.=Mild) = 1 – (1/2)^2 – (1/2)^2 = 1 – 0.25 – 0.25 = 0.5Gini(Outlook=SunnyandTemp.=Mild)=1–(1/2)2–(1/2)2=1–0.25–0.25=0.5

Gini(Outlook=SunnyandTemp.)=(2/5)∗0+(1/5)∗0+(2/5)∗0.5=0.2Gini(Outlook=Sunny and Temp.) = (2/5)*0 + (1/5)*0 + (2/5)*0.5 = 0.2Gini(Outlook=SunnyandTemp.)=(2/5)∗0+(1/5)∗0+(2/5)∗0.5=0.2

outlook=sunny 时,humidity 的基尼指数

HumidityYesNoNumber of instances
High033
Normal202

Gini(Outlook=SunnyandHumidity=High)=1–(0/3)2–(3/3)2=0Gini(Outlook=Sunny and Humidity=High) = 1 – (0/3)^2 – (3/3)^2 = 0Gini(Outlook=SunnyandHumidity=High)=1–(0/3)2–(3/3)2=0

Gini(Outlook=SunnyandHumidity=Normal)=1–(2/2)2–(0/2)2=0Gini(Outlook=Sunny and Humidity=Normal) = 1 – (2/2)^2 – (0/2)^2 = 0Gini(Outlook=SunnyandHumidity=Normal)=1–(2/2)2–(0/2)2=0

Gini(Outlook=SunnyandHumidity)=(3/5)∗0+(2/5)∗0=0Gini(Outlook=Sunny and Humidity) = (3/5)*0 + (2/5)*0 = 0Gini(Outlook=SunnyandHumidity)=(3/5)∗0+(2/5)∗0=0

outlook = sunny 时,wind 的基尼指数

WindYesNoNumber of instances
Weak123
Strong112

Gini(Outlook=SunnyandWind=Weak)=1–(1/3)2–(2/3)2=0.266Gini(Outlook=Sunny and Wind=Weak) = 1 – (1/3)^2 – (2/3)^2 = 0.266Gini(Outlook=SunnyandWind=Weak)=1–(1/3)2–(2/3)2=0.266

Gini(Outlook=SunnyandWind=Strong)=1−(1/2)2–(1/2)2=0.2Gini(Outlook=Sunny and Wind=Strong) = 1- (1/2)^2 – (1/2)^2 = 0.2Gini(Outlook=SunnyandWind=Strong)=1−(1/2)2–(1/2)2=0.2

Gini(Outlook=SunnyandWind)=(3/5)∗0.266+(2/5)∗0.2=0.466Gini(Outlook=Sunny and Wind) = (3/5)*0.266 + (2/5)*0.2 = 0.466Gini(Outlook=SunnyandWind)=(3/5)∗0.266+(2/5)∗0.2=0.466

确定 outlook=sunny 时的分支

我们在上面计算了 outlook = sunny 时的各个特征的基尼指数,发现 humidity 的基尼指数是最低的,所以选择 humidity 作为节点。

FeatureGini index
Temperature0.2
Humidity0
Wind0.466

我们将 humidity 作为一个节点。

在这里插入图片描述

如图所示,对于 humidity = high 的情况,决策永远是 no。另一方面,对于 humidity=normal 的情况,决策永远是 yes,所以这个分支就结束了。

在这里插入图片描述

接下来,我们来看看 outlook=rain 的情况。

outlook=rain

DayOutlookTemp.HumidityWindDecision
4RainMildHighWeakYes
5RainCoolNormalWeakYes
6RainCoolNormalStrongNo
10RainMildNormalWeakYes
14RainMildHighStrongNo

当 outlook=rain 时,我们来计算 Temp, Humidity 和 wind 的基尼指数得分。

outlook=rain 时,temprature 的基尼指数

TemperatureYesNoNumber of instances
Cool112
Mild213

Gini(Outlook=RainandTemp.=Cool)=1–(1/2)2–(1/2)2=0.5Gini(Outlook=Rain and Temp.=Cool) = 1 – (1/2)^2 – (1/2)^2 = 0.5Gini(Outlook=RainandTemp.=Cool)=1–(1/2)2–(1/2)2=0.5

Gini(Outlook=RainandTemp.=Mild)=1–(2/3)2–(1/3)2=0.444Gini(Outlook=Rain and Temp.=Mild) = 1 – (2/3)^2 – (1/3)^2 = 0.444Gini(Outlook=RainandTemp.=Mild)=1–(2/3)2–(1/3)2=0.444

Gini(Outlook=RainandTemp.)=(2/5)∗0.5+(3/5)∗0.444=0.466Gini(Outlook=Rain and Temp.) = (2/5)*0.5 + (3/5)*0.444 = 0.466Gini(Outlook=RainandTemp.)=(2/5)∗0.5+(3/5)∗0.444=0.466

outlook=rain 时,humidity 的基尼指数

HumidityYesNoNumber of instances
High112
Normal213

Gini(Outlook=RainandHumidity=High)=1–(1/2)2–(1/2)2=0.5Gini(Outlook=Rain and Humidity=High) = 1 – (1/2)^2 – (1/2)^2 = 0.5Gini(Outlook=RainandHumidity=High)=1–(1/2)2–(1/2)2=0.5

Gini(Outlook=RainandHumidity=Normal)=1–(2/3)2–(1/3)2=0.444Gini(Outlook=Rain and Humidity=Normal) = 1 – (2/3)^2 – (1/3)^2 = 0.444Gini(Outlook=RainandHumidity=Normal)=1–(2/3)2–(1/3)2=0.444

Gini(Outlook=RainandHumidity)=(2/5)∗0.5+(3/5)∗0.444=0.466Gini(Outlook=Rain and Humidity) = (2/5)*0.5 + (3/5)*0.444 = 0.466Gini(Outlook=RainandHumidity)=(2/5)∗0.5+(3/5)∗0.444=0.466

outlook=rain 时,wind 的基尼指数

WindYesNoNumber of instances
Weak303
Strong022

Gini(Outlook=RainandWind=Weak)=1–(3/3)2–(0/3)2=0Gini(Outlook=Rain and Wind=Weak) = 1 – (3/3)^2 – (0/3)^2 = 0Gini(Outlook=RainandWind=Weak)=1–(3/3)2–(0/3)2=0

Gini(Outlook=RainandWind=Strong)=1–(0/2)2–(2/2)2=0Gini(Outlook=Rain and Wind=Strong) = 1 – (0/2)^2 – (2/2)^2 = 0Gini(Outlook=RainandWind=Strong)=1–(0/2)2–(2/2)2=0

Gini(Outlook=RainandWind)=(3/5)∗0+(2/5)∗0=0Gini(Outlook=Rain and Wind) = (3/5)*0 + (2/5)*0 = 0Gini(Outlook=RainandWind)=(3/5)∗0+(2/5)∗0=0

outlook=rain 时的决策过程

当 outlook=rain 时,我们发现 wind 特征的基尼指数是最小的,所以我们选择它作为我们的分节点。

FeatureGini index
Temperature0.466
Humidity0.466
Wind0

接下里,我们可以重新画我们的树结构了。

在这里插入图片描述

如图所示,当 wind=weak 时,决策一直是 yes。当 wind=strong 时,决策一直是 no。这就意味着决策到此结束了。

在这里插入图片描述

因此,决策树的构建已经结束了。我们手工制作了这颗决策树。顺便说一下,你可能会发现这个跟我们在 ID3 例子中创建了完全相同的树。这并不意味着 ID3 和 CART 算法始终生成的树是相同的。我们从这三篇教程中发现,CART 比 ID3 和 C4.5 都简单,不是吗???

机器学习系列(2)——CART算法 CART(Classification and Regression Tree,分类与回归树)算法 阅读详情

相关推荐

决策树--CART算法

文章目录1.Crat算法(分类树)1.1基尼系数1.2连续型特征处理1.3CART算法1.5 举例说明1.5 代码2.回归树 1.Crat算法(分类树) 1.1基尼系数 CART是基于基尼(Gini)系数最小化准则来进行特征选择,生成二叉树。 基尼系数代表了模型得不纯度,基尼系数越小,则不纯度越低,特征越好。这点和信息增益是相反的。 在分类问题中,假设有K各类别,第k个类别概率为pkp_{k}pk​,则基尼系数的表达式为: Gini(D)=1−∑k=1Kpk2Gini(D)=1-\sum_{k=1}^{K}

m0_51456926的博客 1万+

统计学习方法笔记七----决策树

前言  决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则(if-then)的方法。决策树分为分类树和回归树两种,分类数对离散变量做决策树,回归树对连续变量做决策树。本节主要讨论用于分类的决策树。   在分类问题中,表示基于特征对实例进行分类的过程。它可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性,分类速度快。学习时,利用训练数据

秋水顽石 2348

机器学习之决策树CART算法

接上期: 文章目录一、理论知识1.0、特征选择:基尼指数1.1、决策树的生成1.2、CART剪枝二、python实战 一、理论知识 CART算法是给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。CART假设决策树是二叉树,内部节点取值为“是”或“否”。这样的决策树等价于递归地二分每个特征,将特征空间划分为有限个单元,并在这些单元上确定预测的概率分布即输入给定的条件下输出的条件概率分布。 1.0、特征选择:基尼指数 分类树用基尼指数选择最优特征,同时决定该特征的最优二值切分点。 分类问题中假

m0_69435474的博客 1万+

【机器学习】【决策树】CART算法,用样本集一步一步详解如何求:基尼指数,最优特征,最优切分点

计算类算法使用数据数据一步一步计算,最能形象化理解算法,也容易掌握。如果不懂基尼指数定义,可以百度。下面以常用的贷款申请样本数据表为样本集,通过数学计算来讲解基尼指数的计算方法和过程。1.样本数据集合D样本集简介:    样本集有15个example样本    每个样本有4个特征(年龄age,是否工作work,是否有房子house,信用情况credit),1个分类结果refuse或者agree  ...

蔚蓝的天空Tom 7526

统计学习方法——CART, Bagging, Random Forest, Boosting

本文从统计学角度讲解了CART(Classification And Regression Tree), Bagging(bootstrap aggregation), Random Forest Boosting四种分类器的特点与分类方法,参考材料为密歇根大学Ji Zhu的pdf与组会上王博的讲解。CART(Classification And Regression Tree)

Rachel Zhang的专栏 8万+

决策树之CART算法

在之前介绍过决策树的ID3算法实现,今天主要来介绍决策树的另一种实现,即CART算法。   Contents      1. CART算法的认识    2. CART算法的原理    3. CART算法的实现     1. CART算法的认识      Classification And Regression Tree,即分类回归树算法,简称CART算法,它是决策树的一种实

ACdreamer 8万+

一步一步理解GB、GBDT、xgboost

一步一步理解GB、GBDT、xgboost   GBDT和xgboost在竞赛和工业界使用都非常频繁,能有效的应用到分类、回归、排序问题,虽然使用起来不难,但是要能完整的理解还是有一点麻烦的。本文尝试一步一步梳理GB、GBDT、xgboost,它们之间有非常紧密的联系,GBDT是以决策树(CART)为基学习器的GB算法,xgboost扩展和改进了...

peiwang245的博客 339

机器学习算法|CART算法--python实现

1. CART决策树 CART决策树(Classification and Regression Tree)又称为分类与回归树,该模型是由Breiman等人在1984年提出,是一种注明的的决策树学习算法。从名字就可知道,这个算法既能处理分类问题,又能解决回归问题。 CART决策树与之前文章讨论过的ID3算法、C4.5算法有着类似的逻辑,不过也有所不同。 1.1 基尼指数 CART决策树...

geniusle201的博客 8115

机器学习实验报告——CART算法

CART(Classification and Regression Trees)算法是由Leo Breiman等人于1984年提出的一种决策树算法。它是目前广泛应用的决策树算法之一,也是机器学习领域的经典算法之一。CART算法的背景可以追溯到决策树算法的发展历程。决策树最早由Ross Quinlan于1983年提出,Quinlan的决策树算法ID3(Iterative Dichotomiser 3)在构建决策树时使用了信息增益作为属性选择的标准。然而,ID3算法只能处理离散型特征。

m0_64198455的博客 2241

CART算法学习及实现

CART算法学习及实现  作者:大卡卡   撰写时间:2011.9.29  1.算法介绍     分类回归树算法:CART(Classification And Regression Tree)算法采用一种二分递归分割的技术,将当前的样本集分为两个子样本集,使得生成的的每个非叶子节点都有两个分支。因此,CART算法生成的决策树是结构简洁的二叉树。     分类树两个基本思想:第一个是将训练

7844

机器学习之——CART决策树算法

CART(Classification And Regression Trees 分类回归树)算法是一种树构建算法,既可以用于分类任务,又可以用于回归。相比于 ID3 和 C4.5 只能用于离散型数据且只能用于分类任务,CART 算法的适用面要广得多,既可用于离散型数据,又可以处理连续型数据,并且分类和回归任务都能处理。

AI_dataloads的博客 3439

决策树之CART 算法

我们可以把决策树分为 ID3 算法、C4.5 算法和 CART 算法。今天我来带你学习 CART 算法。CART 算法,英文全称叫做 Classification And Regression Tree,中文叫做分类回归树。ID3 和 C4.5 算法可以生成二叉树或多叉树,而 CART 只支持二叉树。同时 CART 决策树比较特殊,既可以作分类树,又可以作回归树。 什么是分类树,什么是回归树呢?我用下面的训练数据举个例子,你能看到不同职业的人,他们的年龄不同,学习时间也不同。如果我构造了一棵决策树,想要基于

VEGIOS的博客 6206

Spacedesk保姆级教程:用旧平板给Windows电脑当副屏,从安装到避坑一步到位

本文提供Spacedesk保姆级教程,教你如何将旧平板变成Windows电脑的副屏,从软件安装到网络配置、显示优化及声音交互,一步步避开常见陷阱。通过WiFi实现扩展屏功能,支持4K分辨率和60Hz刷新率,让闲置设备焕发新生。

weixin_42524945的博客 1万+

【机器学习】【决策树】CART算法,Python实现CART算法生成决策树

CART算法的数学详细计算步骤,以及CART算法生成决策树的过程,可以详见:【机器学习】【决策树】CART算法,用样本集一步一步详解如何求:基尼指数,最优特征,最优切分点本章仅提供CART算法的python实现代码,以python类面向对象方式实现~代码写的好艰难,完全一行一行码出来了,还是写出来了,现在已经凌晨0:13了。1.样本数据集def create_samples(): ''...

蔚蓝的天空Tom 8227

别再只跑Demo了!用MovieLens数据集完整复现一个电影推荐系统(Python/Pandas实战)

本文详细介绍了如何利用MovieLens数据集从零构建一个完整的电影推荐系统,涵盖数据清洗、特征工程、推荐算法实现(协同过滤和矩阵分解)以及Web服务部署的全流程。通过Python和Pandas实战,读者可以掌握推荐系统的核心技术和生产环境部署技巧,不再局限于简单的Demo运行。

weixin_29062865的博客 151

蓝桥杯单片机省一经验分享1:基础篇.含详细代码与应试技巧

含详细代码、驱动修改与应试技巧

qq_53529450的博客 1万+

cart算法_数据挖掘十大算法—— CART

十大算法 —— CART1、基本介绍(1)概述:CART算法是一种决策树算法,主要用于分类与回归。CART算法将概率论与统计学的知识引入到决策树的研究中,既可以用于分类,也可以用于回归。不同于C4.5算法,CART算法的本质是对特征空间进行二元划分(CART生成的决策树是一颗二叉树),并能够对标量属性与连续属性进行分裂。CART算法采用地即是递归地对每个特征进行二元切分,然后根据输入的特征值预测输...

weixin_39611389的博客 7794

稳定双共轭梯度法BiCGSTAB流程

稳定双共轭梯度法BiCGSTAB流程

abner361的博客 1155

李航机器学习之决策树CART算法

之前的决策树都是多叉 而cart是二叉树,怎么转换例如:对于这个特征而言,可以分为三叉,但是如果把这个三叉树改成二叉树,就可以写成,接着在「不清晰」中,再分为要想生成一棵决策树,首先应该选择最优特征。在CART算法中,是通过基尼指数来选择最优特征的。 基尼指数:假设有KKK个类,样本点属于第kkk类的概率为 ,概率分布的基尼指数定义为:Gini(p)=∑k=1Kpk(1−pk)=1−∑k=1Kpk2Gini(p)=\sum_{k=1}^Kp_k(1-p_k)=1-\sum_{k=1}^Kp_k^2Gin

joejoeqian的博客 1647

AD9176 双通道高速DAC调试记录

AD9176是一款高性能双通道16位数模转换器,支持高达12.6GSPS采样率,专为多频段无线应用设计。该器件集成8通道15.4Gbps JESD204B接口,支持复数/实数数据输入,每通道最大输入速率达3.08GSPS。关键特性包括:48位高精度NCO、灵活的插值滤波器(最高12倍)、优异的动态性能(SFDR达-83dBc@1.84GHz)以及多芯片同步功能。硬件调试需重点关注时钟配置(建议250M基准时钟)、JESD参数匹配及交流耦合设计。测试指标要求SFDR>55dBc@312MHz,实测值可达65d

universaldata的博客 1496

EDA开源仿真工具verilator入门4:访问函数介绍

访问函数(Visitor Function)是verilator算法实现的主要工作方式之一,本节将介绍一下访问函数。

fangfanglovezhou的博客 1076

CART 算法详细解释

CART 算法,全称为分类与回归树(Classification and Regression Trees),是一种广泛使用的决策树算法,由 Leo Breiman 等人在 1984 年提出。它可用于解决分类问题(输出离散类别)和回归问题(输出连续值)。CART 通过递归地将数据集分割成更纯的子集来构建树结构,每个分割基于特征和阈值的选择,以最小化不纯度(对于分类)或误差(对于回归)。以下将详细解释 CART 的分类与回归逻辑,并重点包括基尼指数的计算与应用原理。

m0_64132509的博客 1806

YOLOv11改进策略【Conv和Transformer】| IJCAI 2024 利用FreqFormer中的SFA 空间 - 频率注意力和CTA 通道转置注意力 二次改进C3k2

在FreqFormer模型中,SFA(Spatial-Frequency Attention)和CTA(Channel Transposed Attention)模块是关键组成部分,它们针对传统Transformer在图像超分辨率任务中的不足而设计,旨在更好地恢复高频细节,提升模型性能。

Limiiiing的博客 761

决策树CART算法原理详解

大家好,今天用一个简单的例子来给大家介绍一下决策树中的CART算法。 CART分类树 CART分类树适用于预测结果为离散型数据的情况下,主要是计算每一组特征的Gini系数增益来确定决策树划分的优先规则,主要是采用一种二分方法,当一列特征有K个类别,第k个类别概率为pk时,其计算Gini系数系数的公式为: ...

Sherry沫小阳的博客 9329

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: 一步一步学习 C4.5 算法
下一篇: Github 创始人的开发建议
coderpai
博客等级 码龄10年 1082粉丝 469原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值