决策树

决策树分类如何计算每个类别的概率 1. 为什么要知道每个样本其所属类别的概率? 虽然决策树可以做到对样本分类,但在算法使用中也会遇到这种情况,模型对样本X进行预测,样本X属于A的概率为51% 属于B的概率为49%,这时虽然算法给出结论是样本X属于A类。但是其对这次预测的结果把握性并不是很大。对于现实中某些宁可不做也不要出现错误的场景来说,这次预测并不是我们所需要的。所以,做算法的时候我们需要模型输出样本属于每个类别的概率。 2. 决策树如何计算每个样本的概率? 2.1 决策树结果可视化 为了方便理解,这里... 阅读详情

本文总结决策树。知识点包含:决策树概述、ID3、C4.5、CART回归和分类、信息熵、Gini系数、决策树剪枝。

决策树概述

从根节点开始,对实例某一特征进行测试,根据结果将其分配到子节点。即产生一个决策函数。然后从所有子接点开始,一直迭代,直到达到叶节点。这就是决策树的基本形式。如西瓜书里面的决策树示例图:

决策树是一个概率模型
每一条从根节点到子节点的路径就是一连串的决策函数,他们共同构成的复合函数定义了一条规则。这个规则是完备的。可能有些小伙伴不清楚完备是啥意思,人话就是:每一个实例都会在一条路径上,且只能在一条路径上。
如果我们把特征空间画出来,会发现那些路径上的决策函数把特征空间划分为一个个互不相交的超矩形。每一个单元格就代表一条路径,如果我们把所分类的条件概率定义为该矩形的概率,则定义了一个条件概率分布。故决策树也是一种概率模型。

决策树的学习过程
决策树的学习本质上就是从训练集中归纳出一组分类规则。与训练集不矛盾的决策树可能不存在,也可能存在多个。我们希望得到 E i n 、 E o u t E_{in}、E_{out} Ein​、Eout​均较小的树。
决策树的损失函数通常为正则化的极大似然函数。我们只需要以损失函数为目标函数,并极小化,从而选择最优决策树。
由于从所有可能的决策树中选择最优是一个NP问题,一般我们通过启发式方法来近似求解。得到一个次最优决策函数。
算法:

  • 从根节点开始,选择一个最优特征,然后将所有数据分类成子集,并将子集作为一个子节点。
  • 如果子节点中的类都分类正确,就将此节点作为叶子结点。
  • 如果不能都被分类正确,则选择剩余特征中的最优特征,分类,判断。一直迭代直到所有数据分类正确或者遍历了所有的特征。
  • 上述步骤获得的决策树往往对训练集有很好的分类能力,但是泛化能力差。我们需要对其剪枝。具体做法就是减掉一些对于提升模型能力差的叶节点,并将数据子集回缩到父节点。

综上,决策树主要包含三步骤:特征选择、决策树的生成和剪枝。
决策树的生成只考虑当前局部最优,剪枝考虑全局最优。

决策树优缺点:

特征选择的常用准则

决策树进程的第一步就是选择最优特征。我们希望每一次选择特征并生成树,都能尽可能提高分类的准确率,即都能降低子节点中样本标签的不纯度。这样我们可以得到一个次最优的树。通常我们有三个常用准则来辅助选择:信息增益、信息增益比、基尼系数。
https://www.cnblogs.com/wxquare/p/5379970.html

信息增益

熵:表示随机变量不确定性的度量
设X是一个取有限值的随机变量,对应的概率分布为 P ( X = x i ) = p i P(X=x_i)=p_i P(X=xi​)=pi​,则熵定义为
H ( X ) = − ∑ i p i log ⁡ p i H(X)=-\sum_ip_i\log p_i H(X)=−i∑​pi​logpi​
若 p i = 0 p_i=0 pi​=0,定义 0 log ⁡ 0 = 0 0\log0=0 0log0=0。由式子可知熵具有性质:

  • 至于分布有关,与X的取值无关。可将X的熵记为 H ( p ) H(p) H(p)
  • 熵越大,随机变量的不确定性越大
  • 0 ≤ H ( p ) ≤ log ⁡ n 0\leq H(p)\leq\log n 0≤H(p)≤logn。 ( H ( p ) = log ⁡ ∏ i p i − p i (H(p)=\log \prod_i p_i^{-p_i} (H(p)=log∏i​pi−pi​​为凸函数,值最大时当且仅对当 ∀ i , j , p i = p j \forall i,j,p_i=p_j ∀i,j,pi​=pj​)。从这里可知当熵最大时,是一个均匀分布,随机变量各个值的概率一样大,这时数据无偏向某一个可能值的倾向,不确定性最大。如随机变量是二值分布,则此时的概率是0.5。

条件熵
在随机变量X给定的条件下随机变量Y的条件熵 H ( Y ∣ X ) H(Y|X) H(Y∣X)定义为X给定条件下Y的条件概率分布的熵对X的数学期望。表示已知条件下Y的不确定性。公式如下:
H ( Y ∣ X ) = ∑ i p i H ( Y ∣ X = x i )   , p i = P ( X = x i ) H(Y|X)=\sum_ip_iH(Y|X=x_i)\ ,p_i=P( X=x_i) H(Y∣X)=i∑​pi​H(Y∣X=xi​) ,pi​=P(X=xi​)

信息增益
信息增益:得知特征X的信息而使得类Y的信息不确定性减少的程度。
特征A对数据集D的信息增益为 g ( D , A ) = H ( D ) − H ( D ∣ A ) g(D,A)=H(D)-H(D|A) g(D,A)=H(D)−H(D∣A)
熵和条件熵的差也称为互信息。
对于数据集D有K个分类 C k C_k Ck​和特征A,信息增益计算如下:

H ( D ) = − ∑ k ∣ C k ∣ ∣ D ∣ log ⁡ ∣ C k ∣ ∣ D ∣ H(D)=-\sum_k\frac{|C_k|}{|D|}\log\frac{|C_k|}{|D|} H(D)=−k∑​∣D∣∣Ck​∣​log∣D∣∣Ck​∣​
H ( D ∣ A ) = ∑ i ∣ D i ∣ ∣ D ∣ H ( D i ) = − ∑ i ∣ D i ∣ ∣ D ∣ ∑ k ∣ C i k ∣ ∣ D i ∣ log ⁡ ∣ C i k ∣ ∣ D i ∣ H(D|A)=\sum_i\frac{|D_i|}{|D|}H(D_i)=-\sum_i\frac{|D_i|}{|D|}\sum_k\frac{|C_{ik}|}{|D_i|}\log\frac{|C_{ik}|}{|D_i|} H(D∣A)=i∑​∣D∣∣Di​∣​H(Di​)=−i∑​∣D∣∣Di​∣​k∑​∣Di​∣∣Cik​∣​log∣Di​∣∣Cik​∣​
g ( D , A ) = H ( D ) − H ( D ∣ A ) g(D,A)=H(D)-H(D|A) g(D,A)=H(D)−H(D∣A)

信息增益比
信息增益值的大小受到数据集影响,并无实际意义。如果数据集的熵大,则信息增益一般都较大;反之较小。故我们希望使用比值——信息增益比。公式如下:
g R ( D , A ) = H ( D ∣ A ) H ( D ) g_R(D,A)=\frac{H(D|A)}{H(D)} gR​(D,A)=H(D)H(D∣A)​
解决了信息增益量级不同的偏差影响。

基尼系数
基尼系数定义为: G i n i ( p ) = ∑ k p k ( 1 − p k ) = 1 − ∑ k p k 2 Gini(p)=\sum_kp_k(1-p_k)=1-\sum_kp_k^2 Gini(p)=k∑​pk​(1−pk​)=1−k∑​pk2​
计算如下: G i n i ( D ) = 1 − ∑ ∣ C k ∣ ∣ D ∣ Gini(D)=1-\sum\frac{|C_k|}{|D|} Gini(D)=1−∑∣D∣∣Ck​∣​
cart为二叉树,数据集被特征A分割为两部分后,故: G i n i ( D , A ) = ∣ D 1 ∣ ∣ D ∣ G i n i ( D 1 ) + ∣ D 2 ∣ ∣ D ∣ G i n i ( D 2 ) Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2) Gini(D,A)=∣D∣∣D1​∣​Gini(D1​)+∣D∣∣D2​∣​Gini(D2​)
具有性质:

  1. 只与数据集分布有关,与数据取值无关
  2. Gini系数越大,不确定性越大
  3. Gin系数和熵之半都可以近似表示分类误差。二分类问题中他们的关系如下图:
    在这里插入图片描述

几个常用的树模型

上面我们已经介绍了特征选择,那我们就能生成树了。常用的分类树模型有:ID3、C4.5、CART分类树。除了特征选择不同、CART是二叉树外,他们的生成基本一致。故我只介绍一般流程。
输入:训练集、特征集A,阈值 ϵ \epsilon ϵ
输出:决策树T

  1. 若D中所有的样本实例都是同一类 C k C_k Ck​,则T为单节点树,节点类别为 C k C_k Ck​,返回T
  2. 若 A = ∅ A=\varnothing A=∅,则无其他特征可以选择,T为单节点树,把D中出现最多的类标记作为节点的类标记,返回T
  3. 否则,计算特征选择准则g(三种准则中的任一个都可以)。选择最优的特征 A g A_g Ag​
  4. 若 g &lt; ϵ g&lt;\epsilon g<ϵ,则T为单节点树,把D中出现最多的类标记作为节点的类标记,返回T
  5. 否则,根据 A g A_g Ag​的每一可能值把数据集划分为若干个非空子集 D i D_i Di​,对每一个子集构建子节点,出现最多的类标记作为对应子节点的类标记,返回T。(cart是二叉树,在这里不同:再次计算 A g A_g Ag​所有可能值的特征选择准则 g i g_i gi​,选择出最优取值,划分为一个子集,其余的为另一个子集)
  6. 对每一个子节点,以 D i D_i Di​为训练集、 A − A g A-{A_g} A−Ag​为特征集,循环迭代1-5步。
  7. 如果是CART和C4.5还要剪枝。

ID3:

  • 使用信息增益来选择特征
  • 信息增益无绝对意义,往往特征值多的特征信息增益较大,增加了不确定性,偏向于选择此类特征作为最优特征
  • 只有树的生成,无剪枝,容易过拟合。
  • 不能对连续数据进行处理,可以对连续数据做离散化来解决
  • 没有剪枝过程,容易过拟合
  • 缺失值不容易处理

C4.5:

  • 使用信息增益比来选择特征,准确率较ID3高
  • 能处理连续数据
  • 增加了剪枝,相对不容易过拟合
  • 能自动处理缺失值的情形
  • 生成树的过程中,需要对数据集进行多次的顺序扫描和排序,导致算法低效
  • 需要把所有的数据都读入内存,不适合大量样本

CART分类:

-使用Gini系数来选择特征。 ID3、C4.5计算熵时都需要对数计算,计算慢、适合小样本。Gini系数只涉及到平方,运算速度相对快得多

  • 非常灵活,允许错分样本、可以指定先验分布
  • 能处理缺失值
  • 能自动剪枝,不容易过拟合

三个模型的对比可以参考文章:
https://blog.youkuaiyun.com/choven_meng/article/details/82878018
https://blog.youkuaiyun.com/yoggieCDA/article/details/88998974
https://www.jianshu.com/p/80bc09e8e5e8
https://blog.youkuaiyun.com/u012328159/article/details/79413610

决策树的剪枝

决策树是一个概率模型,我们从朴素贝叶斯的那篇文章知经验最小化等于后验概率最大化。所以选择目标损失函数为最大似然函数,为了抑制过拟合,故需要对似然函数做惩罚。假设|T|为叶节点个数,则损失函数的公式如下: C α ( T ) = ∑ t = 1 ∣ T ∣ N t H t ( T ) + α ∣ T ∣ &ThickSpace; , α ≥ 0 C_\alpha(T)=\sum_{t=1}^{|T|}N_tH_t(T)+\alpha|T|\;,\alpha \geq0 Cα​(T)=t=1∑∣T∣​Nt​Ht​(T)+α∣T∣,α≥0 H t ( T ) = − ∑ k N t k N t log ⁡ N t k N t H_t(T)=-\sum_k\frac{N_{tk}}{N_t}\log\frac{N_{tk}}{N_t} Ht​(T)=−k∑​Nt​Ntk​​logNt​Ntk​​
如下展开后就可知这是通过似然函数得到的: − C ( T ) = − ∑ t = 1 ∣ T ∣ N t H t ( T ) = ∑ t ∑ k N t k log ⁡ N t k N t -C(T)=-\sum_{t=1}^{|T|}N_tH_t(T)=\sum_t\sum_kN_{tk}\log\frac{N_{tk}}{N_t} −C(T)=−t=1∑∣T∣​Nt​Ht​(T)=t∑​k∑​Ntk​logNt​Ntk​​ = ∑ t ∑ k log ⁡ ( N t k N t ) N t k =\sum_t\sum_k\log(\frac{N_{tk}}{N_t})^{N_{tk}} =t∑​k∑​log(Nt​Ntk​​)Ntk​ = log ⁡ ( ∏ t ∏ k ( N t k N t ) N t k ) =\log(\prod_t\prod_k(\frac{N_{tk}}{N_t})^{N_{tk}}) =log(t∏​k∏​(Nt​Ntk​​)Ntk​)
这就是极大似然函数,意义即要求每一个节点内分类正确的概率最大,然后要求树的整体分类正确概率最大。也符合了决策树先生存后剪枝的顺序。
C ( T ) C(T) C(T)代表了模型的拟合度, ∣ T ∣ |T| ∣T∣代表了树的模型复杂度, α \alpha α就是调节因子。

剪枝算法流程:

  • 计算每个节点的经验熵
  • 递归地回缩到父节点,如果某个点回缩后的损失函数未出现增大,则剪枝,蒋父节点作为叶子结点。
  • 迭代,直到不能减小或者我们满意为止。

剪枝分为预剪枝和后剪枝。
预剪枝:是在树的每一次生成时都要验证一下能否减小损失函数。如果能减小就绩效生成子节点。如果不能则不分裂。

  • 有很多分支没有散开,降低了过拟合的风险、降低了时间和内存空间的开销
  • 当前节点不能增加泛化能力,但是后续很可能增加泛化能力。例如最开始的那几层的节点,很可能某一个节点不能增加泛化能力,但是他之后的节点却能很好的提升泛化能力。增加了欠拟合的风险。

后剪枝:树尽可能的生成。然后从叶节点开始,一步一步的往回缩、验证、判断是否剪枝。

  • 先生成一个完整的树再剪枝增加了时间和空间成本
  • 通常留下的节点和分支都比预剪枝多,欠拟合风险很小。

参考文章

预剪枝和后剪枝的具体例子
理解损失函数是极大似然法参考文章1
理解损失函数是极大似然法参考文章2

CART回归树

CART不仅能做分类,还能做回归!树怎么能做回归呢?是不是写错了。你没看错,树能做回归。
如果目标Y是连续变量,D为给定数据集。假设特征空间被树划分为M个单元,每个单元上只有一个输出值 c m c_m cm​。则树模型表示为 f ( x ) = c m ∑ I ( x ∈ R ) f(x)=c_m\sum I(x\in R) f(x)=cm​∑I(x∈R)
如果每个空间单元如果小, c m c_m cm​就是对应空间上y的近似。通常我们可以用空间单元上的Y值的平均值来近似代替 c m c_m cm​。

最小二乘回归树
我们希望单元上的点都离这个点足够近,当划分确定时,我们可以用平方误差来 ∑ ( y i − f ( x i ) ) 2 \sum(y_i-f(x_i))^2 ∑(yi​−f(xi​))2作为回归树的目标函数。通过这个目标函数也可知,空间单元上的输出可以的最优值是空间单元上的所有 y i y_i yi​的平均值。
最小二乘回归树采用启发式的方法来划分空间。

  • 选择特征遍历 x ( j ) x^{(j)} x(j)及其值s。构造两个区域 R 1 ( j , s ) = { x ∣ x ≤ s } &ThickSpace;&ThickSpace; R 2 ( j , s ) = { x ∣ x &gt; s } R_1(j,s)=\{x|x\leq s\}\;\;R_2(j,s)=\{x|x&gt; s\} R1​(j,s)={x∣x≤s}R2​(j,s)={x∣x>s}
  • 求解最优化问题,得到最优对(j,s) min ⁡ j , s { min ⁡ c 1 ∑ x i ∈ R 1 ( y i − c i ) 2 + min ⁡ c 1 ∑ x i ∈ R 2 ( y i − c i ) 2 } \min_{j,s}\{\min_{c_1}\sum_{x_i\in R_1}(y_i-c_i)^2+\min_{c_1}\sum_{x_i\in R_2}(y_i-c_i)^2\} j,smin​{c1​min​xi​∈R1​∑​(yi​−ci​)2+c1​min​xi​∈R2​∑​(yi​−ci​)2}
  • 以上两步和cart分类树的特征选择是相似的。记下来就是迭代,剪枝了。

CART的剪枝

CART的剪枝的剪枝算法:

  • 从决策树的底端开始对树进行剪枝,直到跟节点。得到一子树序列。
  • 通过在验证集上进行交叉验证,选择最优子树。

具体的做法之一:将 α \alpha α从0开始逐渐增大,从 T 0 T_0 T0​开始剪枝。若t为树上的任一节点,则以t为单节点的子树的损失函数为 C α ( t ) = C ( t ) + α C_\alpha(t)=C(t)+\alpha Cα​(t)=C(t)+α
以t为根节点的子树 T t T_t Tt​的损失函数为 C α ( T t ) = C ( T t ) + α ∣ T t ∣ C_\alpha(T_t)=C(T_t)+\alpha|T_t| Cα​(Tt​)=C(Tt​)+α∣Tt​∣
当 α = 0 \alpha=0 α=0或者足够小时, C α ( T t ) &lt; C α ( t ) C_\alpha(T_t)&lt; C_\alpha(t) Cα​(Tt​)<Cα​(t)
当 α \alpha α足够大时, C α ( T t ) &gt; C α ( t ) C_\alpha(T_t)&gt; C_\alpha(t) Cα​(Tt​)>Cα​(t)
故存在某个 α \alpha α,s.t. C α ( T t ) = C α ( t ) C_\alpha(T_t)= C_\alpha(t) Cα​(Tt​)=Cα​(t) ⟹ α = C ( t ) − C α ( T t ) ∣ T t ∣ − 1 \Longrightarrow \alpha=\frac{C(t)-C_\alpha(T_t)}{|T_t|-1} ⟹α=∣Tt​∣−1C(t)−Cα​(Tt​)​
故我们只需要对每一个节点计算 g ( t ) = C ( t ) − C α ( T t ) ∣ T t ∣ − 1 g(t)=\frac{C(t)-C_\alpha(T_t)}{|T_t|-1} g(t)=∣Tt​∣−1C(t)−Cα​(Tt​)​代表了剪枝后损失函数的减少程度。每次都减去g(t)最小的子树 T t T_t Tt​,把得到的子树作为 T 1 T_1 T1​。迭代之后得到一个嵌套的子树序列。之后再次交叉验证选出最优子树。

参考书籍:《统计学习》——李航

决策树模型及案例(Python) 目录 1 决策树模型简介 2 Gini系数(CART决策树) 3信息熵、信息增益 4决策树模型代码实现 4.1分类决策树模型(DecisionTreeClassifier) 4.2回归决策树模型(DecisionTreeRegressor) 5案例:员工离职预测模型 5.1模型搭建 5.1.1数据读取与预处理 5.1.2提取特征变量和目标变量 5.1.3划分训练集与测试集 5.1.4模型搭建及训练 5.1.5代码汇总 5.2模型预测及评估 5.2.1直... 阅读详情

相关推荐

R语言——决策树模型

        决策树(Tree Nodels)是一种创建树状模型的方法,它使用‘基尼不纯度’(Gini Impurity)或信息增益(Information Gain)等标准对节点进行递归分割,以创建树状模型。决策树看起来像是以树状形式排列的一系列的if-else语句,易于理解,执行速度快。并且,它能够很好地表现多个特征之间的相互作用,适用于多种数据类型。(树状模型中,随机森林性能表现卓越) ...

RH_Wang的博客 3万+

xgboost的原理和实战

转载自 https://blog.youkuaiyun.com/github_38414650/article/details/76061893 以及 https://blog.youkuaiyun.com/u011630575/article/details/79418138 和csdn各博主的学习资料 要了解xgboost是什么,首先要明白两个概念 1.xgboost是很多CART回归树的集成 2.bo...

qq_18668137的博客 909

机器学习第五章之决策树模型

机器学习专题系列

wangyutao12345的博客 5190

机器学习:(3)决策树

决策树一、什么是决策树二、决策树剪枝三、决策树的三种常用算法1. ID3(1)定义(2)知识点信息熵信息增益(3)步骤决策树的构造使用Matplotlib注解绘制树形图 一、什么是决策树 (1)决策树,就是一个类似于流程图的树形结构,树内部的每一个节点代表的是对一个特征的测试,树的分支代表该特征的每一个测试结果,而树的每一个叶子节点代表一个类别。树的最高层是就是根节点。 使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为

qq_45802659的博客 2125

机器学习——决策树模型:Python实现

机器学习——决策树模型:Python实现欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你

qq_34357269的博客 8773

决策树模型——鸢尾花分类

构建一个决策树分类模型,实现对鸢尾花的分类 1.lris数据集介绍: 鸢尾花数据集是机器学习领域中非常经典的一个分类数据集。数据集全名为:Iris Data Set,总共包含150行数据。 每一行由4个特征值及一个目标值(类别变量)组成。 其中4个特征值分别是:萼片长度、萼片宽度、花瓣长度、花瓣宽度 目标值为3种不同类别的鸢尾花:山鸢尾、变色鸢尾、维吉尼亚鸢尾 2.读取数据 Iris...

pillow的博客 2万+

【机器学习】决策树(实战)

决策树不仅在理论上很容易理解(机器学习“最友好”的算法),实现时还能对构建过程进行可视化(诸如神经网络等算法本身就是黑盒模型,更难可视化展示模型的构建)。因此,决策树的另一大优势就是能利用相关包来查看构建的树模型。下面介绍一个可以对决策树进行可视化展示的包。

酱懵静的博客 1万+

Python决策树模型的基本原理和参数调优【附代码】

下图所示为一个典型的决策树模型:员工离职预测模型的简单演示。该决策树首先判断员工满意度是否小于5,答案为“是”则认为该员工会离职,答案为“否”则接着判断其收入是否小于10,000元,答案为“是”则认为该员工会离职,答案为“否”则认为该员工不会离职。这里。

weixin_60476982的博客 4925

机器学习-决策树

决策树(Decision Tree)是一种决策分析方法,它基于已知的各种情况发生概率来构建,旨在求取净现值的期望值大于等于零的概率,进而评价项目风险并判断其可行性。这种方法以图形的方式直观运用概率分析,由于决策分支的图形表现类似于树的枝干,因此得名决策树。在机器学习中,决策树是一个预测模型,它代表对象属性与对象值之间的一种映射关系。决策树是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点则代表一种类别。在分类问题中,决策树是一种常用的分类方法,它属于监督学习范畴。

2301_76801094的博客 2677

决策树模型(R语言)

R语言中最常用于实现决策树的有两个包,分别是rpart包和party包,其区别如下: rpart包的处理方式:首先对所有自变量和所有分割点进行评估,最佳的选择是使分割后组内的数据更为“一致”(pure)。这里的“一致”是指组内数据的因变量取值变异较小。rpart包对这种“一致”性的默认度量是Gini值。确定停止划分的参数有很多(参见rpart.control),确定这些参数是非常重要而微妙的,因...

X_dmword的博客 7041

【机器学习】九大决策树模型总结

这篇博客深入探讨了九种不同的决策树模型,每种模型都拥有其独特的特点和应用场景。我将带您了解一些经典的模型,让你理解它们的工作原理,并在实践中灵活运用它们。

chunyang的博客 3615

【机器学习15】决策树模型详解

决策树算法前言一、决策树算法的概述1.树模型2.树模型基本流程二、熵的作用三、决策树构造实例四、信息增益率和gini系数五、剪枝方法六、分类、回归任务七、树模型的可视化展示八、决策边界展示分析九、决策树预剪枝常用参数十、回归树模型总结 前言 随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的决策树的详细内容。 一、决策树算法的概述 1.树模型 决策树是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。

lys_828的博客 4万+

决策树模型(Decision Tree)

P1P_1P1​:表一种类别的数据占总数居的比例。P01−P1P0​1−P1​:表示除了P1P_1P1​类别以外的其他数据占总数据的比例。

SoyMilk的博客 3495

用通俗易懂的方式讲解:决策树模型及案例(Python 代码)

基本原理是通过对一系列问题进行if/else的推导,最终实现相关决策。决策树模型的一个实例:决策树的概念并不复杂,主要是通过连续的逻辑判断得出最后的结论,其关键在于如何建立这样一棵“树”。

Python数据挖掘 2万+

绝缘检测原理和绝缘电阻计算方法

绝缘检测的目的就是计算绝缘电阻,当绝缘电阻低于某个阈值,则很可能会造成电池短路、漏电,威胁人员安全

m0_56208280的博客 4万+

SRCNN超分辨率Pytorch实现,代码逐行讲解,附源码

超分辨率,就是把低分辨率(LR, Low Resolution)图片放大为高分辨率(HR, High Resolution)的过程。通过CNN将图像Y 的特征提取出来存到向量中。用一层的CNN以及ReLU去将图像Y 变成一堆堆向量,即feature map。把提取到的特征进一步做非线性映射,加大网络深度,提高网络复杂性。结合了前面得到的补丁来产生最终的高分辨率图像。实验步骤。

weixin_52261094的博客 3万+

决策树模型构建+调参Python代码——用决策树模型实现机器学习

决策树模型构建+调参Python代码——用决策树模型实现机器学习。

qq_41698317的博客 3531

链式中介效应结果解读:从Bootstrap置信区间到实践意义

本文深入解析链式中介效应结果的解读方法,从Bootstrap置信区间的应用到实践意义的阐述。通过实际案例展示如何分析总效应、直接效应和间接效应,并强调效应量评估的重要性。文章还提供了构建逻辑解释的三步法,以及敏感性分析和报告撰写的实用技巧,帮助研究者准确解读链式中介效应。

weixin_33690367的博客 718

决策树模型

今天我们来复习决策树模型,并用项目教大家快速了解决策树模型,我会将大家编写代码中常见的错误点在代码注释中指出,希望不会浪费大家的时间,高效学习以上就是今天要讲的内容,本文仅仅简单介绍了决策树模型的推导与实现,还有一些其他的优化决策树模型的方法但本文主旨是便于大家复习模型,就不再赘述以上所有代码在Github仓库。

2403_85773052的博客 1298

【异常】Openclaw Gateway进程异常停止问题分析与解决方案

本文分析了Gateway服务异常停止的问题,提出了三种解决方案。核心问题是缺乏进程守护和自动恢复机制,导致服务崩溃后无法自行重启。推荐方案是使用PM2进程管理工具(方案1),提供进程监控、自动重启和开机自启功能。替代方案包括自定义守护脚本(方案2)和supervisord管理(方案3)。这些方案都能有效解决当前服务脆弱性问题,显著提升服务可用性,其中PM2方案成熟度高、配置简单,是首选解决方案。实施后可将服务从人工干预转变为自动恢复,确保业务连续性。

奶爸的编程之路,也就一周冷个三天 461

【Unity3D框架】GameFramework框架完全教程《全网最全》-专栏文章目录

最近准备学习框架,了解到GameFramework框架是国产Unity3D框架,准备学习一下,但是奈何全网关于这个框架的教程实在太少。为了让自己学习方便一些,也为了让后来者乘凉。将框架以自己的理解整理目录,并且补全教程。觉得教程有帮助别忘了一键三连哦。

优快云博客专家,Unity3D高级软件工程师,《Unity 3D从入门到实战》作者。 2万+

Decision Tree Model|决策树模型

本文介绍了决策树模型的基本概念和应用实例。决策树通过一系列条件判断对数据进行分类或回归预测,以猫分类为例,展示了决策树从根节点到叶节点的分类过程。文章还比较了四种基于相同特征集但结构不同的决策树,分析其差异原因(数据划分、特征重要性、随机性等),并指出评估决策树优劣的标准包括准确率、泛化能力和解释性。最后建议实践中可采用集成学习方法提升模型性能。更多计算机知识欢迎访问作者博客网站rn.berlinlian.cn。

m0_74462934的博客 1936

会计-合并-5- 增资、处置交易在合报与个报会计处理

摘要:本文系统梳理了股权投资会计处理的四种情形:从交易性金融资产转为权益法或成本法、权益法转成本法、权益法增持。核心原则是区分个报与合报处理,重点关注原投资公允/账面价值的计量差异及损益确认逻辑。对不丧失控制权的股权处置,个报确认投资收益,合报调整资本公积;丧失控制权时,个报需追溯调整权益法核算,合报计算综合投资收益。一揽子交易的特殊处理强调将过渡性差额暂记其他综合收益,最终丧失控制权时转入当期损益。文末通过典型案例演示了不同情境下的具体计算方法。

qq_34047402的博客 466

【海量数据挖掘/数据分析】之 决策树模型(决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例)

【海量数据挖掘/数据分析】之 决策树模型(决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例) 一、决策树模型 1、常用算法 2、属性划分策略 3、其他算法 三、决策树算法性能要求 四、 决策树模型创建 ( 递归创建决策树 ) 1 、 决策树模型创建 2 、 决策树创建算法 ( 递归 ) 3 、 递归操作 4 、 递归停止的条件 五、 决策树 树根属性 选择 六、信息增益 说明 1、 熵 和 信息 的数据组成 2 、 信息增

仙魁XAN 1万+

【Unity】【2D】用连续图片生成动画Animation的简明步骤

本文介绍了Unity中使用2D连续图片制作2D动画Animation的简明步骤。

O青草O的博客 Unity和游戏制作知识分享 720

LLC电路细讲笔记(二)LLC谐振转换器:频率、增益与Q值的详细探讨

这本电子书通过详细分析LLC谐振转换器的工作原理、等效电路和增益公式,帮助读者深入理解如何设计和优化谐振转换器系统。通过这些公式和设计方法,工程师可以根据不同的应用需求调整参数,实现高效的电能转换。

weixin_43199439的博客 6912
上一篇: 线性回归和概率模型(逻辑回归和朴素贝叶斯)
下一篇: 集成学习
酸辣椒炒青椒
博客等级 码龄11年 9粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值