《统计学习方法》(第五章)—— 决策树

李航 统计学习方法 第五章 决策树 课后 习题 答案 决策树是一种基本的分类和回归方法。决策树呈树形结构,在分类问题中,表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合,也可以认为是定义在特征空间和类空间上的条件概率分布。学习时,利用训练数据,根据损失函数最小化的原则建立决策树模型。预测时,对新的数据,利用决策树模型进行分类。决策树学习通常包括三个步骤:特征选择、决策树的生成和决策树的剪枝。(ID3、C4.5、CART) 阅读详情

决策树模型和学习

决策树模型

  • 定义:分类决策树模型是一种描述对实例分类的树型结构。决策树由结点和有向边组成。结点有两种类型:内部结点和叶结点。内部结点表示一个特征或属性,叶节点表示一个类

决策树于if-then规则

  • 可以将决策树看成一个if-then规则的集合。将决策树转换成if-then规则的过程是这样,每个内部结点代表一种规则,然后根据规则进行划分,最后到叶节点后,根据决策规则进行类别判别。

决策树与条件概率分布

  • 决策树也可以表示给定特征条件下类别的条件概率分布。这一条件概率分布对应空间上的一个划分,最终叶子结点是个条件概率P(Y∣X)P(Y|X)P(Y∣X)

决策树学习

  • 给定D={(x1,y1),(x2,y2),...,(xN,yN)}D=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}D={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中xi=(xi(1),xi(2),...,xi(n))T,yi∈{1,2,...,K}x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})^T,y_i \in\{1,2,...,K\}xi​=(xi(1)​,xi(2)​,...,xi(n)​)T,yi​∈{1,2,...,K}表示其类别
    决策树学习本质上是对训练数据中归纳出一种规则。与训练数据不相矛盾且具有很好的泛化能力,其学习也是定义一个损失函数,然后优化最小损失函数,但其是个NP完全问题,通常用启发式算法进行解决,递归的选择最优特征再生成决策树,最后再进行全局剪枝。

特征选择

特征选择问题

  • 选取比较好的特征具有很好的分类能力,通常特征选择的准则是信息增益或信息增益比

信息增益

  • 熵表示随机变量的不确定性的度量
       P(X=xi)=pi,i=1,2,...,nP(X=x_i)=p_i,i=1,2,...,nP(X=xi​)=pi​,i=1,2,...,n
      H(X)=−∑i=1npilog⁡pi,H(X)=-\sum\limits_{i=1}^np_i\log\limits{p_i},H(X)=−i=1∑n​pi​logpi​,定义:0log⁡0=00\log\limits{0}=00log0=0
      满足不等式0≤H(p)≤log⁡n0\le H(p)\le\log\limits{n}0≤H(p)≤logn
      (X,Y)联合分布概率,P(X=xi,Y=yj)=pij,i=1,2,...,,n;j=1,2,...,m(X,Y)联合分布概率,P(X=x_i,Y=y_j)=p_{ij},i=1,2,...,,n;j=1,2,...,m(X,Y)联合分布概率,P(X=xi​,Y=yj​)=pij​,i=1,2,...,,n;j=1,2,...,m
      条件熵H(Y∣X)=∑i=1npiH(Y∣X=xi),pi=P(X=xi),i=1,2,...,nH(Y|X)=\sum\limits_{i=1}^np_iH(Y|X=x_i),p_i=P(X=x_i),i=1,2,...,nH(Y∣X)=i=1∑n​pi​H(Y∣X=xi​),pi​=P(X=xi​),i=1,2,...,n
      信息增益定义:特征AAA对训练数据集DDD的信息增益g(D,A),g(D,A),g(D,A),定义为集合DDD的经验熵H(D)H(D)H(D)与特征AAA给定条件下DDD的经验条件熵H(D∣A)之差H(D|A)之差H(D∣A)之差
          g(D,A)=H(D)−H(D∣A)g(D,A)=H(D)-H(D|A)g(D,A)=H(D)−H(D∣A)也叫作互信息,越大表示特征A对数据区分度越好
  • 算法:
      输入:训练数据D4和特征D4和特征D4和特征A$
      输出:特征AAA对训练数据集DDD的信息增益g(D,A)g(D,A)g(D,A)
      (1).(1).(1).计算数据集D的经验熵H(D)H(D)H(D)
          H(D)=−∑k=1K∣Ck∣∣D∣log⁡2∣Ck∣∣D∣H(D)=-\sum\limits_{k=1}^K\frac{|C_k|}{|D|}\log\limits_2\frac{|C_k|}{|D|}H(D)=−k=1∑K​∣D∣∣Ck​∣​2log​∣D∣∣Ck​∣​
      (2).(2).(2).计算特征AAA对数据集DDD的经验条件熵H(D∣A)H(D|A)H(D∣A)
          H(D∣A)=∑i=1n∣Di∣∣D∣H(Di)=−∑i=1n∣Di∣∣D∣log⁡2∣Dik∣∣D∣H(D|A)=\sum\limits_{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-\sum\limits_{i=1}^n\frac{|D_i|}{|D|}\log\limits_2\frac{|D_{ik}|}{|D|}H(D∣A)=i=1∑n​∣D∣∣Di​∣​H(Di​)=−i=1∑n​∣D∣∣Di​∣​2log​∣D∣∣Dik​∣​
      (2).(2).(2).计算信息增益
          g(D,A)=H(D)−H(D∣A)g(D,A)=H(D)-H(D|A)g(D,A)=H(D)−H(D∣A)

信息增益比

  信息增益划分数据存在一个问题,偏向于取值多的特征,因此引入信息增益比进行矫正。
  定义:特征AAA对训练数据集DDD的信息增益比gR(D,A),g_R(D,A),gR​(D,A),定义信息增益g(D,A),g(D,A),g(D,A),与训练数据集DDD关于A值的熵HA(D)H_A(D)HA​(D)之比
      gR(D,A)=g(D,A)HA(D)g_R(D,A)=\frac{g(D,A)}{H_A(D)}gR​(D,A)=HA​(D)g(D,A)​
  其中HA(D)=−∑i=1n∣Di∣∣D∣log⁡2∣Di∣∣D∣H_A(D)=-\sum\limits_{i=1}^n\frac{|D_i|}{|D|}\log\limits_2\frac{|D_i|}{|D|}HA​(D)=−i=1∑n​∣D∣∣Di​∣​2log​∣D∣∣Di​∣​

决策树的生成

ID3算法

  • 算法:
      输入:训练数据集DDD,特征集AAA阈值ε\varepsilonε
      输出:决策树TTT
      (1).(1).(1).若DDD中所有实例属于同一类CK,C_K,CK​,则TTT为单节点树,并将类CkC_kCk​作为该节点的类标记,返回TTT
      (2).(2).(2).若A=∅A=\emptyA=∅,则TTT为单节点树,并将DDD中实例最大的类别CkC_kCk​作为该节点的类标记,返回TTT
      (3).(3).(3).否则,计算AAA中各种特征对DDD的信息增益,选择信息增益最大的特征AgA_gAg​
      (4).(4).(4).如果AgA_gAg​的信息增益小于阈值ε\varepsilonε,则置TTT为单叶子节点,并将DDD中实例数最大的类别CkC_kCk​作为该节点的类标记,返回TTT
      (5).(5).(5).否则,对AgA_gAg​中每个可能值Ag=aiA_g=a_iAg​=ai​将DDD分割为若干非空子集DiD_iDi​,将DiD_iDi​中实例数最大的作为标记,由此节点构建子树TTT
      (6)(6)(6)对第iii个子节点,以DiD_iDi​为训练集,以A−{Ag}A-\{A_g\}A−{Ag​}为特征集,递归调用(1)−(5)(1)-(5)(1)−(5)得到子树TiT_iTi​,返回TiT_iTi​

C4.5的生成算法

  • 算法:
      输入:训练数据集DDD,特征集AAA阈值ε\varepsilonε
      输出:决策树TTT
      (1).(1).(1).若DDD中所有实例属于同一类CK,C_K,CK​,则TTT为单节点树,并将类CkC_kCk​作为该节点的类标记,返回TTT
      (2).(2).(2).若A=∅A=\emptyA=∅,则TTT为单节点树,并将DDD中实例最大的类别CkC_kCk​作为该节点的类标记,返回TTT
      (3).(3).(3).否则,计算AAA中各种特征对DDD的信息增益比,选择信息增益比最大的特征AgA_gAg​
      (4).(4).(4).如果AgA_gAg​的信息增益小于阈值ε\varepsilonε,则置TTT为单叶子节点,并将DDD中实例数最大的类别CkC_kCk​作为该节点的类标记,返回TTT
      (5).(5).(5).否则,对AgA_gAg​中每个可能值Ag=aiA_g=a_iAg​=ai​将DDD分割为若干非空子集DiD_iDi​,将DiD_iDi​中实例数最大的作为标记,由此节点构建子树TTT
      (6)(6)(6)对第iii个子节点,以DiD_iDi​为训练集,以A−{Ag}A-\{A_g\}A−{Ag​}为特征集,递归调用(1)−(5)(1)-(5)(1)−(5)得到子树TiT_iTi​,返回TiT_iTi​

决策树剪枝

  决策树的剪枝往往通过极小化决策树整体的损失函数或代价函数来实现,设数TTT的叶节点个数∣T∣|T|∣T∣,ttt是数TTT的叶节点,该叶节点有NtN_tNt​个样本点,其中kkk类的样本点有NtkN_{tk}Ntk​个,k=1,2,...,K,H(T)k=1,2,...,K,H(T)k=1,2,...,K,H(T)为叶节点ttt上的经验熵,α≥0\alpha\ge0α≥0为参数,则决策树学习的损失函数可以定义为:
      Ca(T)=∑t=1∣T∣NtHt(T)+α∣T∣C_a(T)=\sum\limits_{t=1}^{|T|}N_tH_t(T)+\alpha|T|Ca​(T)=t=1∑∣T∣​Nt​Ht​(T)+α∣T∣
  其经验熵为
      Ht(T)=−∑kNtkNtlog⁡NtkNtH_t(T)=-\sum\limits_k\frac{N_{tk}}{N_t}\log\limits\frac{N_{tk}}{N_t}Ht​(T)=−k∑​Nt​Ntk​​logNt​Ntk​​
  在损失函数中,将上上式右边第一项记作
      C(T)=∑t=1∣T∣NtHt(T)=−∑t=1∣T∣∑k=1KNtklog⁡NtkNtC(T)=\sum\limits_{t=1}^{|T|}N_tH_t(T)=-\sum\limits_{t=1}^{|T|}\sum\limits_{k=1}^KN_{tk}\log\limits\frac{N_{tk}}{N_t}C(T)=t=1∑∣T∣​Nt​Ht​(T)=−t=1∑∣T∣​k=1∑K​Ntk​logNt​Ntk​​
  这时有
      Ca(T)=C(T)+α∣T∣C_a(T)=C(T)+\alpha|T|Ca​(T)=C(T)+α∣T∣

  • 算法:
      输入:生成算法产生整个树TTT,参数α\alphaα
      输出:修减后的子树TaT_aTa​
      (1).(1).(1).计算每个节点的经验熵
      (2).(2).(2).递归地从树的叶节点向上回缩
      设一组叶节点回缩到其父亲节点之前与之后的整体树分别为TBT_BTB​与TAT_ATA​,其对应的损失函数值分别是Ca(TB)C_a(T_B)Ca​(TB​)与Ca(TA)C_a(T_A)Ca​(TA​),如果Ca(TA)≤Ca(TB)C_a(T_A)\le C_a(T_B)Ca​(TA​)≤Ca​(TB​)则进行剪枝,即将父亲节点变为新的叶节点
      (3).(3).(3).返回(2)(2)(2)直到不能执行为止

CART算法

CART生成

  • 回归树
      回归树是用来输出连续变量的
      假设XXX和YYY分别为输入和输出变量,并且YYY是连续变量,给定训练数据集
          D={(x1,y1),(x2,y2),...,(xN,yN)}D=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}D={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}
      回归树就是把输入划分为MMM个单元R1,R2,...,RMR_1,R_2,...,R_MR1​,R2​,...,RM​,并且在单元RmR_mRm​上固定输出cmc_mcm​
          f(x)=∑m=1Mc^mI(x∈Rm)f(x)=\sum\limits_{m=1}^M\hat{c}_mI(x\in R_m)f(x)=m=1∑M​c^m​I(x∈Rm​),由平方误差知∑xi∈Rm(yi−f(xi))2\sum\limits_{x_i\in R_m}(y_i-f(x_i))^2xi​∈Rm​∑​(yi​−f(xi​))2
          c^m=ave(yi∣xi∈Rm)\hat{c}_m=ave(y_i|x_i \in R_m)c^m​=ave(yi​∣xi​∈Rm​)最优
      选取最优划分第jjj个变量x(j)x^{(j)}x(j)的取值sss进行划分
        R1(j,s)={x∣x(j)≤s}R_1(j,s)=\{x|x^{(j)}\le s\}R1​(j,s)={x∣x(j)≤s}    R2(j,s)={x∣x(j)>s}R_2(j,s)=\{x|x^{(j)}> s\}R2​(j,s)={x∣x(j)>s}
          minj,s[minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)2]min_{j,s}[min_{c_1}\sum\limits_{x_i \in R_1(j,s)}(y_i-c_1)^2+min_{c_2}\sum\limits_{x_i \in R_2(j,s)}(y_i-c_2)^2]minj,s​[minc1​​xi​∈R1​(j,s)∑​(yi​−c1​)2+minc2​​xi​∈R2​(j,s)∑​(yi​−c2​)2]
          c^1=ave(yi∣xi∈R1(j,s))\hat{c}_1=ave(y_i|x_i \in R_1(j,s))c^1​=ave(yi​∣xi​∈R1​(j,s))  c^2=ave(yi∣xi∈R2(j,s))\hat{c}_2=ave(y_i|x_i \in R_2(j,s))c^2​=ave(yi​∣xi​∈R2​(j,s))
  • 算法:
      输入:训练数据集D:D:D:
      输出:回归树f(x)f(x)f(x)
      (1).minj,s[minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)2](1).min_{j,s}[min_{c_1}\sum\limits_{x_i \in R_1(j,s)}(y_i-c_1)^2+min_{c_2}\sum\limits_{x_i \in R_2(j,s)}(y_i-c_2)^2](1).minj,s​[minc1​​xi​∈R1​(j,s)∑​(yi​−c1​)2+minc2​​xi​∈R2​(j,s)∑​(yi​−c2​)2]求之
      (2).c^1=ave(yi∣xi∈R1(j,s))(2).\hat{c}_1=ave(y_i|x_i \in R_1(j,s))(2).c^1​=ave(yi​∣xi​∈R1​(j,s))    c^2=ave(yi∣xi∈R2(j,s))\hat{c}_2=ave(y_i|x_i \in R_2(j,s))c^2​=ave(yi​∣xi​∈R2​(j,s))
      (3)(3)(3)继续(1),(2)(1),(2)(1),(2)直到满足条件
      (4)(4)(4)f(x)=∑m=1Mc^mI(x∈Rm)f(x)=\sum\limits_{m=1}^M\hat{c}_mI(x\in R_m)f(x)=m=1∑M​c^m​I(x∈Rm​)
  • 分类树
    • 基尼指数
          定义:分类问题中假设有KKK类,样本点属于第k类的概率为pkp_kpk​,则概率分布的基尼指数为
              Gini(p)=∑k=1Kpk(1−pk)=1−∑k=1Kpk2Gini(p)=\sum\limits_{k=1}^Kp_k(1-p_k)=1-\sum\limits_{k=1}^Kp_k^2Gini(p)=k=1∑K​pk​(1−pk​)=1−k=1∑K​pk2​
              Gini(D)=1−∑k=1K(∣Ck∣D)2Gini(D)=1-\sum\limits_{k=1}^K(\frac{|C_k|}{D})^2Gini(D)=1−k=1∑K​(D∣Ck​∣​)2
        如果样本DDD根据特征AAA是否取aaa进行划分,分割成D1D_1D1​和D2D_2D2​
            D1={(x,y)∈D∣A(x)=a)}D_1=\{(x,y) \in D|A(x)=a)\}D1​={(x,y)∈D∣A(x)=a)}   D2=D−D1D_2=D-D_1D2​=D−D1​
           特征A下的集合D的基尼指数Gini(D,A)=∣D1∣∣D∣Gini(D1)+∣D2∣∣D∣Gini(D2)Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)Gini(D,A)=∣D∣∣D1​∣​Gini(D1​)+∣D∣∣D2​∣​Gini(D2​)其越大,不确定性越大,选小的
  • 算法:
      输入:训练数据集D:D:D:
      输出:CARTCARTCART决策树
      (1)(1)(1)设节点的训练集为DDD计算其基尼指数
      (2)(2)(2)选择基尼指数最小的点进行划分
      (3)(3)(3)继续(1),(2)(1),(2)(1),(2)直到满足条件
      (4)(4)(4)生成CARTCARTCART决策树

CART剪枝

  (1)(1)(1)剪枝整树,定义Ca(T)=C(T)+α∣T∣C_a(T)=C(T)+\alpha|T|Ca​(T)=C(T)+α∣T∣为损失函数,把α从小到大生成序列,0=α0<α1<...<αn<+∞\alpha从小到大生成序列,0=\alpha_0<\alpha_1<...<\alpha_n<+\infinα从小到大生成序列,0=α0​<α1​<...<αn​<+∞产生一系列区间[αi,αi+1),i=0,1,...,n[\alpha_i,\alpha_{i+1}),i=0,1,...,n[αi​,αi+1​),i=0,1,...,n对应生成{T0,T1,...,Tn}\{T_0,T_1,...,T_n\}{T0​,T1​,...,Tn​}最后我们交叉验证一下选择最优就OK
        Ca(T)=C(T)+α∣T∣C_a(T)=C(T)+\alpha|T|Ca​(T)=C(T)+α∣T∣
        Ca(Tt)=C(Tt)+α∣Tt∣C_a(T_t)=C(T_t)+\alpha|T_t|Ca​(Tt​)=C(Tt​)+α∣Tt​∣
      当α=0\alpha=0α=0或足够小有      Ca(Tt)<C(Tt)C_a(T_t)<C(T_t)Ca​(Tt​)<C(Tt​)
      当α\alphaα增大有          Ca(Tt)=C(Tt)C_a(T_t)=C(T_t)Ca​(Tt​)=C(Tt​),再大就不等式反号
        α=C(t)−C(Tt)∣Tt∣−1\alpha=\frac{C(t)-C(T_t)}{|T_t|-1}α=∣Tt​∣−1C(t)−C(Tt​)​选择一个节点最优,所以进行剪枝。取g(t)=C(t)−C(Tt)∣Tt∣−1g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}g(t)=∣Tt​∣−1C(t)−C(Tt​)​为对应区间最优子树
  (2).(2).(2).对子树序列T0,T1,T2,...,TnT_0,T_1,T_2,...,T_nT0​,T1​,T2​,...,Tn​进行交叉验证等选择最优子树,同时也确定了α\alphaα大小

  • 算法:
      输入:CARTCARTCART决策树
      输出:最优子树TαT_{\alpha}Tα​
      (1)(1)(1)k=0,T=T0k=0,T=T_0k=0,T=T0​
      (2)(2)(2)设α=+∞\alpha=+\infinα=+∞
      (3)(3)(3)自下向上地对ttt计算C(Tt),∣T∣C(T_t),|T|C(Tt​),∣T∣以及
              g(t)=C(t)−C(Tt)∣Tt∣−1g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}g(t)=∣Tt​∣−1C(t)−C(Tt​)​
              α=min(α,g(t))\alpha=min(\alpha,g(t))α=min(α,g(t))
      (4)(4)(4)对g(t)=ag(t)=ag(t)=a内部剪枝得到子树TTT
      (5)(5)(5)设k=k+1,αk=α,Tk=Tk=k+1,\alpha_k=\alpha,T_k=Tk=k+1,αk​=α,Tk​=T
      (6)(6)(6)如果TkT_kTk​不是由跟节点和两个叶节点组成的树,则返回(2)(2)(2)否则令Tk=TnT_k=T_nTk​=Tn​
      (7)(7)(7)交叉验证子树序列T0,T1,....,TnT_0,T_1,....,T_nT0​,T1​,....,Tn​中得到最优子树TαT_\alphaTα​
统计学习方法第五章:决策树(decision tree),CART算法,剪枝及python实现 决策树(decision tree)是一种基本的分类与回归方法。决策树模型呈树状结构,在分类问题中,表示基于特征对实例进行分类的过程。 它可以认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。 其主要优点是模型具有可读性,分类速度快。 学习时,利用训练数据,根据损失函数最小化的原则建立决策树模型。预测时,对新的数据,利用决策树模型进行分类。 决策树学习通常... 阅读详情

相关推荐

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第5章 决策树

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第5章 决策树

weixin_42046845的博客 1805

JAMA子刊 | RCT重复测量数据常用方法:混合效应模型分析一个时间点的主要结局...

欢迎参加郑老师2023年孟德尔随机化课程发表文章后退款!孟德尔随机化方法快速撰写SCI论文” ,11.18-11.192022年9月,外国学者在《JAMA Netw Open》(一区,IF=13.8)发表题为:"Effect of Minocycline on Depressive Symptoms in Patients With Treatment-Resistant Depression:...

weixin_47988917的博客 6667

统计学习方法第五章:决策树(decision tree),ID3算法,C4.5算法及python实现

决策树(decision tree)是一种基本的分类与回归方法。决策树模型呈树状结构,在分类问题中,表示基于特征对实例进行分类的过程。 它可以认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。 其主要优点是模型具有可读性,分类速度快。 学习时,利用训练数据,根据损失函数最小化的原则建立决策树模型。预测时,对新的数据,利用决策树模型进行分类。 决策树学习通常...

devil_bye的博客 2496

李航老师《统计学习方法》第二版第五章决策树课后答案

1、根据表5.1所给的训练数据集,利用信息增益比(C4.5算法)生成决策树。 解: 下面先给出计算信息增益比的程序,并且输出最好的特征 import numpy as np def info_ratio(D, Y, n): ''' 计算信息增益比 Parameters ---------- D : numpy array 训练数据集. Returns ------- 最优特征. ''' #下面开始修正数据

qq_41626059的博客 8805

(统计学习方法|李航)第五章 决策树——一二三节:决策树模型与学习,特征选择,决策树的生成,

目录一,决策树模型与学习1.决策数模型2.决策树与if-then规则3.决策树与条件概率分布4.决策树学习二,特征选择1.特征选择问题2.信息增益3.信息增益比三,决策树的生成1.ID3算法2.C4.5的生成算法

weixin_57848728的博客 1813

决策树(DecisonTree) Python代码 《统计学习方法》李航

经典书籍《统计学习方法》李航,第5章 决策树(Decision Tree)-Python代码

统计学习方法-决策树

决策树(decision tree)是一种基本的分类与回归方法,本章主要讨论用于分类的决策树。决策树模型呈树形结构,在分类问题中,表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合,也可以是认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性,分类速度快。学习时,利用训练数据,根据损失函数最小化的原则建立决策树模型。预测时,对新的数据,利用决策树模型进行分类。决策树学习通常包括3个步骤:特征选择、决策树的生成和决策树的修剪。 决策树模型与学习 1.决策树模型.

qq_42794545的博客 476

Qt OpenGL 3D 点云数据显示

在Qt中使用OpenGL显示3D点云数据是一个常见的需求,特别是在计算机视觉、机器人学和三维重建等领域。下面我将介绍一个基本的实现方案。

深之JohnChen的专栏 1239

《统计学习方法》第五章决策树总结

决策树是一种基本的分类与回归方法,是一种描述对实例分类的树形结构。决策树还表示给定特征条件下类的条件概率分布(这已条件概率分布定义在结构空间的一个划分上)。

qq_42714262的博客 1504

电子发票二维码背后的秘密:10分钟看懂校验码、加密字符含义与防伪设计

本文深入解析电子发票二维码的结构与防伪设计,揭示校验码和加密字符的生成原理及验证方法。通过实际案例和技术细节,帮助财务人员理解电子发票的安全机制,提升防伪识别能力,确保税务合规。

weixin_29248611的博客 533

计算机技术发展5大阶段,现阶段计算机技术应用及发展

【摘要】现代计算机科学技术的发展和普及运用,为世界各国民众基础性生产生活实践活动的组织开展路径造成了深刻影响,本文围绕现阶段计算机技术应用及发展,择取两个具体方面,展开了简要分析。【关键词】计算机技术;应用;发展改革开放以来,计算机设备的广泛运用,促进了计算机科学技术的逐步发展成熟。计算机科学技术是具备新兴表现特征的尖端应用技术,其在现代工业生产和社会生活实践活动过程中的广泛引入运用,给世界各国基...

weixin_42126677的博客 2637

统计学习方法04—决策树

由于生成的决策树存在过拟合问题,需要对它进行剪枝,以简化学到的决策树。决策树的剪枝,往往从已生成的树上剪掉一些叶结点或叶结点以上的子树,并将其父结点或根结点作为新的叶结点,从而简化生成的决策树。决策树的生成往往通过计算信息增益或其他指标,从根结点开始,递归地产生决策树。现实中采用启发式方法学习次优的决策树.规则的集合,也可以看作是定义在特征空间划分上的类的条件概率分布。规则的集合,也可以看作是定义在特征空间划分上的类的条件概率分布。通常计算各个特征的基尼指数,选基尼指数最小的特征数作为分类节点。

m0_55196097的博客 843

LoveSQL

LoveSQL(SQL注入详解) 1、根据题目,显然想到的是sql注入漏洞,直接尝试万能密码 2、此时url构造,查看字段数 /check.php?username=admin' order by 3%23&password=1 # 存在 /check.php?username=admin' order by 4%23&password=1 # 报错 因此,得到总共有三个字段数 注意:url中不能用#,应该用url编码%23 3、用union来查询测试注入点,查看回显点

lunan的博客 1562

李航《统计学习方法》——第五章 决策树模型

由于网上资料很多,这里就不再对算法原理进行推导,仅给出博主用Python实现的代码,供大家参考 适用问题:多类分类 三个步骤:特征选择、决策树的生成和决策树的剪枝 常见的决策树算法有: ID3:特征划分基于信息增益 C4.5:特征划分基于信息增益比 CART:特征划分基于基尼指数 测试数据集:train.csv ID3算法代码: # encoding=utf-8 import...

fuqiuai的博客 3362

YOLOv11训练:Roboflow免费数据集获取与格式转换超详细教程

公共数据集库:包含超过20,000个开源数据集数据标注工具:支持在线标注和团队协作数据预处理:自动增强、扩充和格式化版本控制:像管理代码一样管理数据集版本多格式导出:支持所有主流目标检测格式import cv2# 加载图像# 加载标注# 数据增强# 调整尺寸# 调整标注坐标# 转换为Tensor# 实现保持长宽比的resize逻辑pass# 坐标转换逻辑pass# 数据增强实现pass数据集选择优先选择Roboflow上标注质量高的官方数据集。

weixin_39818775的博客 2364

DDR5 的 PI: DIMM 上 PMIC,正在制造一批“新型 EMI 问题”

DDR5 的 PI,不再只是“供电设计”,而是一次“噪声管理设计”。电压稳定本地调节高频噪声EMI 风险系统不确定性DDR5 真正难的地方,不是跑起来,而是——在最差条件下,它还能不能一直跑。而 DIMM 上那颗 PMIC,正是你绕不开的关键角色。

weixin_43199439的博客 184

《统计学习方法》——第五章、决策树模型与学习(上)

作者简介:整个建筑最重要的是地基,地基不稳,地动山摇。而学技术更要扎稳基础,关注我,带你稳扎每一板块邻域的基础。 博客主页:啊四战斗霸的博客 收录专栏:《统计学习方法》第二版——个人笔记 南来的北往的,走过路过千万别错过,错过本篇,“精彩”可能与您失之交臂 la Triple attack(三连击):Comment,Like and Collect—>Attention 文章目录 决策树:从训练集中学习得出一个树状结构的模型。决策树属于判别模型 分类决策树模型是一种描述对实例进行分类的树形结构。 .

weixin_64215932的博客 507

ultralytics.data.utils——utils.py子模块代码详读

ultralytics.data.utils——utils.py子模块代码详读

Together_CZ的博客 1722

第五章 统计学习方法-决策树

决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构,在分类问题中,表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性,分类速度快。学习时,利用训练数据,根据损失函数最小化的原则建立决策树模型。预测时,对新的数据,利用决策树模型进行分类。...

ILancy的博客 1510

Node-RED系列(二九):使用slider与chart节点来实现双折线时间序列图

今天教使用dashboard的chart组件和slider组件来是实现一个双线的折线图。效果如下 拖动顶部的电量和水量,低下的图表会实时显示时间和值之所以做这个模拟案例,是将教 大家使用chart节点和slider节点先说一下slider节点,该节点是一个滑块节点,可以接受上一节点的 msg.payload,作为滑块的值, slider必须设置最大值和最小值。且不能动态设置。 此外当用户拖动slider滑块,改变值时,该节点会向下传递当前值 以属性payload装载。在说一下chart节点,该节点可以用于

知无涯 4972

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

统计学习方法第五章:决策树法(decision tree)

决策树(统计学习理论)

qq_58567287的博客 626

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

【李航-统计学习方法】【原理与代码】第五章 决策树 decision tree python

一、决策树 最基本思想: 决策树学习的算法通常是一个递归地选择最优特征,并根据该特征对训练数据进行分割,使得对各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分,也对应着决策树的构建。开始,构建根结点,将所有训练数据都放在根结点。选择一个最优特征,按照这一特征将训练数据集分割成子集,使得各个子集有一个在当前条件下最好的分类。如果这些子集已经能够被基本正确分类,那么...

小欧欧的博客 646

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

【统计学习方法】第五章 决策树

基础概念 决策树是一种基本的分类与回归方法,这里主要讨论分类。 决策树学习的三个步骤: 1. 特征选择 2. 决策树生成 3.决策树修剪   第五章 决策树   1. 决策树模型与学习 ...

aaon22357的博客 855

第五章——决策树笔记(《统计学习方法》-李航)

第五章——决策树笔记(《统计学习方法》-李航) 本文主要记录自己学习李航的小蓝书的过程,之前的4张有时间再补上。本文只做知识点整理,不做详细的见解,因为我认为,依照本人的知识水平,不可能比书上的讲得要好,所以如果想看详细的知识介绍,别怕困难,别怕长,慢慢看原书第五章吧。学习没有捷径的。 目录 1. 手写版知识点回顾 2. 简单补充,文字总结 3. python代码实现决策树 4. 源码...

u012324136的博客 803

cart算法_统计学习方法第五章:决策树(decision tree),CART算法,剪枝及python实现

完整代码:xjwhhh/LearningML​github.com欢迎follow和star欢迎关注公众号:常失眠少年,谢谢。决策树(decision tree)是一种基本的分类与回归方法。决策树模型呈树状结构,在分类问题中,表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性,分类速度快。学习时,利...

weixin_39932181的博客 312

统计学习方法第五章——决策树

decision tree决策树是一种分类和回归的方法,本章只考虑在分类领域的使用。决策树使用了归纳法划分特征空间,以此来达到分类的目的。决策树不同于KNN中的kd树,它是多叉树,不是二叉树。决策树是一种概率模型。决策树采用了if-then规则,路径上的内部节点是对特征的分类,叶节点对应着规则的结论(即分类的结果)。首先引入随机变量的entropy熵的定义,entropy是用于表示随机变量不确定性的度量,当随机变量的entropy越小的时候,它就越规律,它的规律就越确定。

qq_43369406的博客 532
上一篇: 《统计学习方法》(第四章)——朴素贝叶斯
下一篇: 《统计学习方法》(第六章)—— 逻辑斯谛回归与最大熵模型
mkopvec
博客等级 码龄8年 22粉丝 331原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值