《统计学习方法》(第八章)——提升方法

李航老师《统计学习方法》第八章课后习题答案 8.1、题目太长,懒得打字了 因为训练数据实例的维度比书中的例子8.1的实例的维度大,也就是特征的数目比较多,因而需要进行特征选择。我在这里根据数据集里面数据的权重进行特征选择的,如果按照原始数据进行原则,那么除了强制排除已经选择的特征,否则每次构造决策树桩,都只能选择相同的特征进行构造决策树桩,这显然是不合理的。 直接上代码: import numpy as np def choose_character_by_data_weight(X,Y,w): ''' 该方法使用数据的每次迭代的权重 阅读详情

提升方法AdaBoost算法

提升方法的基本思路

在概率近似正确(PAC)学习的框架中,如果存在一个多项式的学习算法能够学习它,学习的正确率仅比随机的好,那么就称为弱可学习,而强可学习与弱可学习是等价的,所以可以通过方法来提升弱可学习为强可学习,AdaBoost算法采取加权多数表决的方式来减少误差率

AdaBoost算法

输入:训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中xi∈Rn,yi∈{−1,+1}x_i \in R^n, y_i \in \{-1,+1\}xi​∈Rn,yi​∈{−1,+1}
输出:最终分类器G(x)G(x)G(x)
(1)(1)(1)初始化训练数据权值分布
D1=(w11,w12,...,w1N),      w1i=1N,     i=1,2,....,ND_1=(w_{11},w_{12},...,w_{1N}), \ \ \ \ \ \ w_{1i}=\frac{1}{N},\ \ \ \ \ i=1,2,....,ND1​=(w11​,w12​,...,w1N​),      w1i​=N1​,     i=1,2,....,N
(2)(2)(2)对m=1,2,....,Mm=1,2,....,Mm=1,2,....,M

  • (a)(a)(a)使用权值分布DmD_mDm​的训练数据集学习,得到基本分类器
    Gm(x):X→{−1,+1}G_m(x):X \to \{-1,+1\}Gm​(x):X→{−1,+1}
  • (b)(b)(b)计算Gm(x)G_m(x)Gm​(x)在训练数据集上的分类误差率,选择误差率最小的作为Gm(x)G_m(x)Gm​(x)
    em=∑i=1NP(Gm(xi)≠yi)=∑i=1NwmiI(Gm(xi)≠yi)e_m=\sum\limits_{i=1}^NP(G_m(x_i) \ne y_i)=\sum\limits_{i=1}^Nw_{mi}I(G_m(x_i)\ne y_i)em​=i=1∑N​P(Gm​(xi​)​=yi​)=i=1∑N​wmi​I(Gm​(xi​)​=yi​)
  • (c)(c)(c)计算Gm(x)G_m(x)Gm​(x)的系数
    am=12log⁡1−emema_m=\frac{1}{2} \log \frac{1-e_m}{e_m}am​=21​logem​1−em​​
  • (d)(d)(d)更新训练数集的权值分布
    Dm+1=(wm+1,1,wm+1,2,...,wm+1,N)D_{m+1}=(w_{m+1,1},w_{m+1,2},...,w_{m+1,N})Dm+1​=(wm+1,1​,wm+1,2​,...,wm+1,N​)
    wm+1,i=wmiZmexp⁡(−amyiGm(xi)),      i=1,2,...,Nw_{m+1,i}=\frac{w_{mi}}{Z_m}\exp (-a_my_iG_m(x_i)),\ \ \ \ \ \ i=1,2,...,Nwm+1,i​=Zm​wmi​​exp(−am​yi​Gm​(xi​)),      i=1,2,...,N
    其中
    Zm=∑i=1Nwmiexp⁡(−amyiGm(xi))Z_m=\sum\limits_{i=1}^Nw_{mi}\exp (-a_my_iG_m(x_i))Zm​=i=1∑N​wmi​exp(−am​yi​Gm​(xi​))
    (3)(3)(3)构建基本分类器的线性组合
    f(x)=∑m=1MamGm(x)f(x)=\sum\limits_{m=1}^Ma_mG_m(x)f(x)=m=1∑M​am​Gm​(x)
    G(x)=sign(f(x))=sign(∑m=1MamGm(x))G(x)=sign(f(x))=sign(\sum\limits_{m=1}^Ma_mG_m(x))G(x)=sign(f(x))=sign(m=1∑M​am​Gm​(x))
    如果被误分类,则权值被放大
    e2am=1−ememe^{2a_m}=\frac{1-e_m}{e_m}e2am​=em​1−em​​
    倍

AdaBoost算法的训练误差分析

AdaBoost算法最终分类器的训练误差界为
1N∑i=1NI(G(xi)≠yi)≤1N∑i=1Nexp⁡(−yif(xi))=∏i=1NZi\frac{1}{N}\sum\limits_{i=1}^NI(G(x_i)\ne y_i) \le \frac{1}{N}\sum\limits_{i=1}^N \exp(-y_if(x_i))=\prod\limits_{i=1}^NZ_i N1​i=1∑N​I(G(xi​)​=yi​)≤N1​i=1∑N​exp(−yi​f(xi​))=i=1∏N​Zi​
下面我们给出证明
当G(xi)≠yiG(x_i) \ne y_iG(xi​)​=yi​时yif(xi)<0y_if(x_i) <0yi​f(xi​)<0,因而exp⁡(−yif(xi))≥1\exp(-y_if(x_i)) \ge1exp(−yi​f(xi​))≥1 所以直接得不等式证明又
wmiexp⁡(−amyiGm(xi))=Zmwm+1,iw_{mi}\exp(-a_my_iG_m(x_i))=Z_mw_{m+1,i}wmi​exp(−am​yi​Gm​(xi​))=Zm​wm+1,i​
推导如下
1N∑i=1Nexp⁡(−yif(xi))=1N∑i=1Nexp⁡(−∑m=1MamyiGm(xi))\frac{1}{N}\sum\limits_{i=1}^N\exp(-y_if(x_i))=\frac{1}{N}\sum\limits_{i=1}^N\exp (-\sum\limits_{m=1}^Ma_my_iG_m(x_i))N1​i=1∑N​exp(−yi​f(xi​))=N1​i=1∑N​exp(−m=1∑M​am​yi​Gm​(xi​))
=∑i=1Nw1i∏m=1Mexp⁡(−amyiGm(xi))=\sum\limits_{i=1}^Nw_{1i}\prod_{m=1}^M \exp(-a_my_iG_m(x_i))=i=1∑N​w1i​m=1∏M​exp(−am​yi​Gm​(xi​))
=Z1∑i=1Nw2i∏m=2Mexp⁡(−amyiGm(xi))=Z_1\sum\limits_{i=1}^Nw_{2i}\prod_{m=2}^M \exp(-a_my_iG_m(x_i))=Z1​i=1∑N​w2i​m=2∏M​exp(−am​yi​Gm​(xi​))
=Z1Z2∑i=1Nw3i∏m=3Mexp⁡(−amyiGm(xi))=Z_1Z_2\sum\limits_{i=1}^Nw_{3i}\prod_{m=3}^M \exp(-a_my_iG_m(x_i))=Z1​Z2​i=1∑N​w3i​m=3∏M​exp(−am​yi​Gm​(xi​))
=....=....=....
∏m=1MZm\prod_{m=1}^MZ_mm=1∏M​Zm​
得证




∏m=1MZm=∏m=1M[2em(1−em)]\prod_{m=1}^MZ_m=\prod_{m=1}^M[2\sqrt{e_m(1-e_m)}]m=1∏M​Zm​=m=1∏M​[2em​(1−em​)​]
=∏m=1M(1−4γm2)=\prod_{m=1}^M\sqrt{(1-4\gamma^2_m)}=m=1∏M​(1−4γm2​)​
≤exp⁡(−2∑m=1Mγm2)\le\exp(-2\sum\limits_{m=1}^M \gamma^2_m)≤exp(−2m=1∑M​γm2​)
其中
γm=12−em\gamma_m=\frac{1}{2}-e_mγm​=21​−em​

下面证明
Zm=∑i=1Nwmiexp⁡(−amyiGm(xi))Z_m=\sum\limits_{i=1}^Nw_{mi}\exp(-a_my_iG_m(x_i))Zm​=i=1∑N​wmi​exp(−am​yi​Gm​(xi​))
=∑yi=Gm(xi)wmie−am+∑yi≠Gm(xi)wmieam=\sum\limits_{y_i=G_m(x_i)}w_{mi}e^{-a_m}+\sum\limits_{y_i \ne G_m(x_i)}w_{mi}e^{a_m}=yi​=Gm​(xi​)∑​wmi​e−am​+yi​​=Gm​(xi​)∑​wmi​eam​
=(1−em)e−am+emeam=(1-e_m)e^{-a_m}+e_me^{a_m}=(1−em​)e−am​+em​eam​
=2em(1−em)=2\sqrt{e_m(1-e_m)}=2em​(1−em​)​
=1−4γm2=\sqrt{1-4\gamma_m^2}=1−4γm2​​
由ex,1−xe^x,\sqrt{1-x}ex,1−x​在0的泰勒展开推出
∏m=1M(1−4γm2)≤exp⁡(−2∑m=1Mγm2)\prod_{m=1}^M\sqrt{(1-4\gamma^2_m)}\le\exp(-2\sum\limits_{m=1}^M \gamma^2_m)m=1∏M​(1−4γm2​)​≤exp(−2m=1∑M​γm2​)
推论
如果存在γ>0,\gamma>0,γ>0,对所有mmm有γm≥γ\gamma_m \ge \gammaγm​≥γ
则
1N∑i=1NI(G(xi)≠yi)≤exp⁡(−2Mγ2)\frac{1}{N}\sum\limits_{i=1}^NI(G(x_i) \ne y_i)\le \exp(-2M \gamma^2)N1​i=1∑N​I(G(xi​)​=yi​)≤exp(−2Mγ2)
即模型错误率呈指数级下降

AdaBoost算法的解释

前向分步算法

算法:
输入:训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)};损失函数L(y,f(x))L(y,f(x))L(y,f(x)),基函数集{b(x;γ)}\{b(x;\gamma) \}{b(x;γ)}
输出:加法模型f(x)f(x)f(x)
(1)(1)(1)初始化f0(x)=0f_0(x)=0f0​(x)=0
(2)(2)(2)对m=1,2,...,Mm=1,2,...,Mm=1,2,...,M

  • (a)(a)(a)极小化损失函数
    (βm,γm)=arg min⁡β,γ∑i=1NL(yi,fm−1(xi)+β(xi;γ))(\beta_m,\gamma_m)=\argmin\limits_{\beta,\gamma}\sum\limits_{i=1}^NL(y_i,f_{m-1}(x_i)+\beta(x_i;\gamma))(βm​,γm​)=β,γargmin​i=1∑N​L(yi​,fm−1​(xi​)+β(xi​;γ))
    得到更新的参数
  • (b)(b)(b)更新
    fm(x)=fm−1(x)+βmb(x:γm)f_m(x)=f_{m-1}(x)+\beta_mb(x:\gamma_m)fm​(x)=fm−1​(x)+βm​b(x:γm​)
    (3)(3)(3)得到加法模型
    f(x)=fM(x)=∑m=1Mβmb(x:γm)f(x)=f_M(x)=\sum\limits_{m=1}^M\beta_mb(x:\gamma_m)f(x)=fM​(x)=m=1∑M​βm​b(x:γm​)

前向分步算法与AdaBoost

AdaBoost算法是前向分布加法算法的特例,这是模型是由基本分类函数组成的加法模型,损失函数是指数函数

下面证明
定义
L(y,f(x))=exp⁡[−yf(x)]L(y,f(x))=\exp[-yf(x)]L(y,f(x))=exp[−yf(x)]
假设经过m−1m-1m−1次迭代得到fm−1(x)f_{m-1}(x)fm−1​(x)
在求第mmm次迭代
(am,Gm(x))=arg min⁡a,G∑i=1Nexp⁡[−yi(fm−1(xi)+aG(xi)](a_m,G_m(x))=\argmin\limits_{a,G}\sum\limits_{i=1}^N \exp[-y_i(f_{m-1}(x_i)+aG(x_i)](am​,Gm​(x))=a,Gargmin​i=1∑N​exp[−yi​(fm−1​(xi​)+aG(xi​)]
(am,Gm(x))=arg min⁡a,G∑i=1Nwmi^exp⁡[−yiaG(xi)](a_m,G_m(x))=\argmin\limits_{a,G}\sum\limits_{i=1}^N \hat{w_{mi}}\exp[-y_iaG(x_i)](am​,Gm​(x))=a,Gargmin​i=1∑N​wmi​^​exp[−yi​aG(xi​)]
其中
wmi^=exp⁡[−yifm−1(xi)]\hat{w_{mi}}=\exp[-y_if_{m-1}(x_i)]wmi​^​=exp[−yi​fm−1​(xi​)]
首先求解Gm∗(x)G^*_m(x)Gm∗​(x)对任意a>0a>0a>0由下式得到
Gm∗(x)=arg min⁡G∑i=1Nwmi^I(yi≠G(xi))G_m^*(x)=\argmin\limits_G\sum\limits_{i=1}^N\hat{w_{mi}}I(y_i \ne G(x_i))Gm∗​(x)=Gargmin​i=1∑N​wmi​^​I(yi​​=G(xi​))
随后求a∗a^*a∗
∑i=1Nwmi^exp⁡[−yiaG(xi)]=∑yi=Gm(xi)wmi^e−a+∑yi≠Gm(xi)wmi^ea\sum\limits_{i=1}^N\hat{w_{mi}}\exp[-y_iaG(x_i)]=\sum\limits_{y_i=G_m(x_i)}\hat{w_{mi}}e^{-a}+\sum\limits_{y_i\ne G_m(x_i)}\hat{w_{mi}}e^{a}i=1∑N​wmi​^​exp[−yi​aG(xi​)]=yi​=Gm​(xi​)∑​wmi​^​e−a+yi​​=Gm​(xi​)∑​wmi​^​ea
求导等于0得
am∗=12log⁡1−emema^*_m=\frac{1}{2}\log \frac{1-e_m}{e_m}am∗​=21​logem​1−em​​
em=∑i=1Nwmi^I(yi≠Gm(xi))∑i=1Nwmi^e_m=\frac{\sum\limits_{i=1}^N\hat{w_{mi}}I(y_i \ne G_m(x_i))}{\sum\limits_{i=1}^N\hat{w_{mi}}}em​=i=1∑N​wmi​^​i=1∑N​wmi​^​I(yi​​=Gm​(xi​))​
=∑i=1NwmiI(yi≠Gm(xi))=\sum\limits_{i=1}^Nw_{mi}I(y_i \ne G_m(x_i))=i=1∑N​wmi​I(yi​​=Gm​(xi​))
又
wmi^=exp⁡[−yifm−1(xi)]\hat{w_{mi}}=\exp[-y_if_{m-1}(x_i)]wmi​^​=exp[−yi​fm−1​(xi​)]
则
wm+1,i^=wm,i^exp⁡[−yiamGm(x)]\hat{w_{m+1,i}}=\hat{w_{m,i}}\exp[-y_ia_mG_m(x)]wm+1,i​^​=wm,i​^​exp[−yi​am​Gm​(x)]

提升树

提升树以分类树或回归树为基本模型的提升方法,最好的统计学习模型之一

提升树模型

fM(x)=∑m=1MT(x;Θm)f_M(x)=\sum\limits_{m=1}^MT(x;\Theta_m)fM​(x)=m=1∑M​T(x;Θm​)
其中,T(x;Θm)T(x;\Theta_m)T(x;Θm​)表示决策树,Θ\ThetaΘ为参数,MMM为个数

提升树算法

算法
输入:训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中xi∈Rn,yi∈Rx_i \in R^n,y_i \in Rxi​∈Rn,yi​∈R
输出:提升树fM(x)f_M(x)fM​(x)
(1)(1)(1)初始化f0(x)=0f_0(x)=0f0​(x)=0
(2)(2)(2)对m=1,2,...,Mm=1,2,...,Mm=1,2,...,M

  • (a)(a)(a)计算残差
    rmi=yi−fm−1(xi),      i=1,2,...,Nr_{mi}=y_i-f_{m-1}(x_i),\ \ \ \ \ \ i=1,2,...,Nrmi​=yi​−fm−1​(xi​),      i=1,2,...,N
  • (b)(b)(b)拟合残差rmir_{mi}rmi​学习得到回归树得得T(x;Θm)T(x;\Theta_m)T(x;Θm​)
  • (c)(c)(c)更新fm(x)=fm−1(x)+T(x;Θm)f_m(x)=f_{m-1}(x)+T(x;\Theta_m)fm​(x)=fm−1​(x)+T(x;Θm​)

(3)(3)(3)得到回归问题提升树
fM(x)=∑m=1MT(x;Θm)f_M(x)=\sum\limits_{m=1}^MT(x;\Theta_m)fM​(x)=m=1∑M​T(x;Θm​)

梯度提升

因为一般损失函数不易优化取梯度来替换残差
算法:
输入:训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中xi∈Rn,yi∈Rx_i \in R^n,y_i \in Rxi​∈Rn,yi​∈R损失函数L(y,f(x))L(y,f(x))L(y,f(x))
输出:回归树fM(x)f_M(x)fM​(x)
(1)(1)(1)初始化
f0(x)=arg min⁡c∑i=1NL(yi,c)f_0(x)=\argmin\limits_{c}\sum\limits_{i=1}^NL(y_i,c)f0​(x)=cargmin​i=1∑N​L(yi​,c)
(2)(2)(2)对m=1,2,...,Mm=1,2,...,Mm=1,2,...,M

  • (a)(a)(a)对i=1,2,...,Ni=1,2,...,Ni=1,2,...,N计算
    rmi=−[∂L(yi,f(xi))∂f(xi)]f(x)=fm−1(x)r_{mi}=-[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}]_{f(x)=f_{m-1}(x)}rmi​=−[∂f(xi​)∂L(yi​,f(xi​))​]f(x)=fm−1​(x)​
  • (b)(b)(b)对rmir_{mi}rmi​拟合一个回归树,得到第mmm课树的叶子区域RmjR_{mj}Rmj​
  • (c)(c)(c)对j=1,2,...,Jj=1,2,...,Jj=1,2,...,J计算
    cmj=arg min⁡c∑xj∈RmjL(yi,fm−1(xi)+c)c_{mj}=\argmin\limits_{c}\sum\limits_{x_j \in R_{mj}}L(y_i,f_{m-1}(x_i)+c)cmj​=cargmin​xj​∈Rmj​∑​L(yi​,fm−1​(xi​)+c)
  • (d)(d)(d)更新fm(x)=fm−1(x)+∑j=1JcmjI(x∈Rmj)f_m(x)=f_{m-1}(x)+\sum\limits_{j=1}^Jc_{mj}I(x \in R_{mj})fm​(x)=fm−1​(x)+j=1∑J​cmj​I(x∈Rmj​)
    (3)(3)(3)得到回归树
    f^(x)=fM(x)=∑m=1M∑j=1JcmjI(x∈Rmj)\hat{f}(x)=f_M(x)=\sum\limits_{m=1}^M\sum\limits_{j=1}^Jc_{mj}I(x \in R_{mj})f^​(x)=fM​(x)=m=1∑M​j=1∑J​cmj​I(x∈Rmj​)
统计学习方法——第八章:提升方法 提升方法 强可学习和弱可学习: 因为在现实生活中,弱分类器是很好找的。所以考虑将多个弱分类器进行提升得到一个强分类器 提升方法即将弱可学习法提升为强可学习法 有两个问题需要回答: 1:如何改变训练数据的权值或概率 方法:提高分类错的权值而减少分类正确的权值 2:如何将弱分类器合成一个强分类器 方法:加大分类误差率小的模型而减少分类误差率大的模型 AdaBoost Adaboost算法分为三大步... 阅读详情

相关推荐

李航《统计学习方法》第2版 第8章课后习题答案

习题8.1 因计算量较大,所以这题用编程实现。 我们先来看下课本例题8.1不是习题8.1,该题x只有1个特征,习题8.1中x有3个特征。 对于例题8.1的实现代码如下(算法即书中的AdaBoost算法8.1) 弱分类器由x<v或x>v产生;此可看作是由一个根节点直接连接两个叶结点的简单决策树,即所谓的决策树桩。 """ 自编程实现课本例题8.1 """ import numpy as np class AdaBoost: def __init__(self, x, y, tol=0.

weixin_43646592的博客 7182

《统计学习方法》第8章习题答案

8.1 class Adaboost_tree: def __init__(self, X, Y): self.X = np.array(X) self.Y = np.array(Y) self.N = len(X) self.feature_num = len(X[0]) self.w = np.array([1 / self.N] * self.N) self.g_x = [] sel

时间的玫瑰的博客 3840

电表协议避坑指南:DLT645-2007与Modbus RTU的5大核心差异对比

本文深入对比了DLT645-2007与Modbus RTU两大电表通讯协议的核心差异,涵盖协议定位、数据地址、报文结构及实测性能。DLT645-2007作为电力行业标准,数据定义统一但效率受限;Modbus RTU作为通用协议,灵活高效但需依赖厂家点表。文章结合实测数据与开发经验,为不同场景下的协议选型与编程实践提供了清晰的避坑指南。

weixin_29166013的博客 110

读书笔记-统计学习方法(李航) 第八章

第八章 提升方法两种模式:(1)序列方法(2)并行方法8.1 Adaboost 算法8.2 Adaboost算法的训练误差8.3 Adaboost 算法的解释8.4 提升树实例: 提升方法是通过对多个模型进行融合从而提升模型效果的方法。 两种模式: (1)序列方法 弱分类器是一个接一个的,后面的需要前面的结果,比如Adaboost,GBDT (2)并行方法 弱分类器是并行训练的,每个弱分类器之间无关,如随机森林 8.1 Adaboost 算法 Adaboost会提高前一轮弱分类器分类错误的样本的权重,降

weixin_42681868的博客 803

CM-GAI:基于连续介质力学与最优传输的数据生成新范式

在数据驱动的工程与科学研究中,如何利用有限的物理数据实现可靠预测是核心挑战。传统方法如深度神经网络,在数据稀缺时往往泛化能力不足且缺乏物理一致性。为解决此问题,一种融合物理原理与数据驱动的新范式应运而生。其核心思想是将数据分布的变化类比为连续介质在广义力驱动下的力学变形过程,通过最优传输理论为分布变换提供最优路径的度量。这种方法将物理规律(如质量守恒、运动方程)作为硬约束嵌入模型,确保了生成过程的物理可解释性。物理信息神经网络(PINNs)则被用作高效求解器,处理高维特征空间中的复杂控制方程。在工程实践中,

weixin_30607029的博客 609

VFIO框架源码分析(二十二)- IOMMUFD 的脏页跟踪与 Dirty Bits 读取

在虚拟化热迁移(Live Migration)的场景中,脏页追踪(Dirty Page Tracking)是最具挑战性的环节之一。它的核心任务是实时捕获设备(DMA)对内存的写操作,以便 VMM(如 QEMU)知道哪些内存页需要被重新传输到目标主机。在强耦合与粗粒度:脏页追踪是绑定在 Container 上的。这意味着,如果一个 Container 内有多个设备,哪怕只有一个设备在写内存,脏页追踪也会影响 Container 内的所有设备。软件模拟开销大。

qq_36071928的博客 1046

统计学习方法——(第八章)提升方法详解及推导

一、知识梳理

weixin_37799689的博客 952

李宏毅2025《机器学习》第一讲-生成式AI:技术突破和未来发展

本文基于台湾大学李宏毅教授的“一堂课搞懂生成式人工智慧的技术突破与未来发展”课程内容,系统性地梳理了生成式AI的核心概念、技术原理、发展演进以及未来趋势。文章从AI的“行为”入手,通过生动的实例展示了其强大的生成与推理能力;进而深入剖析其底层运作机制,阐释了“万物皆为令牌(Token)”、自回归生成、Transformer架构等核心原理;接着,文章追溯了通用AI模型从“专才”到“通才”的演进历程;最后,探讨了如何通过微调(Fine-tuning)、模型编辑(Model Editing)等技术赋予AI新的能力

木鱼时刻的专栏 2297

《统计学习方法》第八章 提升方法

1. 提升方法基本思路 对于一个复杂任务来说,将多个专家的判断进行适当的综合所得出的判断,比其中任何一个专家单独的判断好.即“三个臭皮匠顶个诸葛亮”. 2. 强学习算法与弱学习算法 强学习算法:在概率近似正确(PAC)学习的框架中,一个概念(一个类),如果存在一个多项式的学习算法能够学习它,并且正确率很高,那么这个概念是强可学习的. 弱学习算法:在概率近似正确(PAC)学习的框架中,一个概念(一个...

qq_26496077的博客 792

【CicadaPlayer】av_rescale_q 学习:转换PTS和Duration

参考 av_rescale_q()理解 大神时间基准的总结: AVPacket下的pts和dts以AVStream->time_base为单位(数值比较大),时间间隔就是AVStream->time_base。 大神:多种转换的总结 av_rescale_q用于计算Packet的PTS 如: if (pkt->pts != AV_NOPTS_VALUE) { pkt->pts = av_rescale_q(pkt->pts, m

突围 843

用 CDS 作为 Referenced Data Source 开发 SAP Gateway OData 服务,一条更轻的 SEGW 路线

本文介绍了SAP Gateway项目中从传统手工建模到基于CDS View的现代化开发方式转变。主要内容包括: 传统方式需要在SEGW中手动创建Entity Type、Entity Set等元素,并在DPC_EXT中编写大量查询逻辑,存在模型层和业务逻辑重复表达的问题。 7.50版本后,SAP Gateway与ABAP CDS深度集成,可通过SEGW直接引用CDS View作为数据源,自动生成数据模型和SADL读取逻辑,支持完整的OData查询功能。 最佳实践建议通过Consumption View而非直接

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 707

《统计学习方法》读书笔记——第八章 提升方法

写在前面 本系列博客是自己对于《统计学习方法》这本书的读书笔记,在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。 目录 写在前面 本章框架 提升方法 Adaboost算法 提升树 补充知识点 本章框架 根据训练数据的线性可分、近似线性可分、线性不可分这三个程度,SVM由简单到复杂地呈现为线性可分SVM、线性SVM以及非线性SVM三种。本章先分别介绍这...

s000da的博客 307

【学习系列】SAP RAP 18:Unmanaged场景开发示例-基本数据更新

本文介绍了在SAP RAP中unmanaged模式下从0到1的开发步骤。unmanaged模式下需要自行实现数据更新、权限检查等逻辑,适用于操作现有数据库表或复杂业务场景。文章以两层的采购订单对象为例,详细说明了创建技术对象(表、视图、行为定义等)的过程,并重点阐述了如何实现CRUD相关方法的核心逻辑。通过创建缓冲类来处理交互阶段和保存阶段的数据操作,确保事务一致性。完整代码展示了抬头层级的增删改查功能实现,为后续明细层级的开发奠定了基础。

DeveloperMrMeng的博客 642

统计学习方法笔记:第八章.提升方法

第八章:提升方法 提升方法是将弱学习方法提升为强学习方法的统计学习方法;在分类问题中,提升方法通过反复修改训练数据的权值分布(对比之前的一些算法,基本上都认为所有训练数据的概率分布是一致的),构建一系列基本分类器**(弱分类器)**,然后将这些分类器线性组合,即得到强分类器; Adaboost 算法 初始化权值(一般认为刚开始的概率分布均匀) 建立 m 个弱分类器: (1). 按照某一算法...

weixin_44692791的博客 239

嵌入式模拟电路面试题大全及参考答案(持续更新)

高输入阻抗:由于晶体管的基极-发射极(BJT)或栅极-源极(MOSFET)电压很低,跨导放大器具有很高的输入阻抗。低输出阻抗:晶体管的集电极-发射极或漏极-源极电阻较低,提供较低的输出阻抗。电压控制:输入信号控制晶体管的跨导,从而控制输出电流。晶体管:作为放大器的核心,可以是BJT或MOSFET。偏置电路:为晶体管提供稳定的工作点,确保其在放大区域内工作。负载电阻:与晶体管的集电极或漏极连接,将电流转换为电压。晶体管的选择:根据所需的增益、速度和功率消耗选择合适的晶体管。偏置稳定性。

大模型大数据攻城狮的专栏 989

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

统计学习方法 第八章 提升方法

第八章 提升方法 在分类问题中,它通过改变训练样本的权重,学习多个分类器,并将这些分类器线性组合,提高分类的性能, 8.1 提升方法AdaBoost 强可学习 &amp; 弱科学习: 在概率近似正确(probably approximately correct, PAC)学习的框 架中,一个概念(类),如果存在一个多项式的学习算法能够学习 它,并且正确率很高,称这个概念是强可学习的; 一个...

weixin_41045344的博客 497

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

《统计学习方法》第八章提升方法及python实现

一、写在前面 本文是《统计学习方法》第8章提升方法的笔记,整合了《机器学习实战》中的提升树Python代码。《方法》重理论,但不易理解,《实战》重实践,但缺乏理论基础,特别是AdaBoost算法的解释、提升树与加法模型的关系等。两相结合,应该能获得较为全面的知识。本文是第八章,往后翻了翻,《方法》还有十四章。路漫漫其修远兮,年轻人骑猪仔不能放弃。 二、提升方法 提升方法是从弱学习算法出发,反复学习,得到一系列弱分类器(又称为基本分类器),然后组合这些弱分类器,构成一个强分类器。大多数的提升方法都是改变训练数

weixin_47675950的博客 497

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

【统计学习方法】第八章 提升方法

文章目录基础概念第八章 提升方法1. 提升方法Adaboost算法 基础概念 boosting方法是一种常用的统计学习方法,在分类问题中,它通过改变训练样本的权重,学习多个分类器,并将这些分类器进行线性组合,提高分类的性能。   第八章 提升方法   1. 提升方法Adaboost算法 ...

aaon22357的博客 543

《统计学习方法》第八章-提升方法 学习总结

在《统计学习方法》中第八章提升方法,包括四节,第一节介绍AdaBoost、第二节介绍AdaBoost的误差、第三节介绍从前向分布算法来实现AdaBoost、第四节介绍提升树。 第一节 提升方法AdaBoost算法 第一节首先介绍了AdaBoost的思想:是先得到一个弱分类器,然后在这个弱分类器的基础上将其提升到强分类器,具体方法是提升上一个分类器中被误分类的样本的权重,使得本次训练的分类器

lianjixuexi的博客 1435

李航《统计学习方法》——第八章 提升方法

提升方法就是组合一系列弱分类器构成一个强分类器,AdaBoost是其代表性算法 AdaBoost算法 适用问题:二类分类,要处理多类分类需进行改进 代码(用sklearn实现): # encoding=utf-8 import pandas as pd import time from sklearn.cross_validation import train_test_split...

fuqiuai的博客 4231

统计学习方法读书笔记第八章:提升方法

统计学习方法读书笔记第八章:提升方法统计学习方法读书笔记第八章:提升方法提升方法AdaBoost算法AdaBoost算法的训练误差分析AdaBoost算法的解释提升树 统计学习方法读书笔记第八章:提升方法 提升(boosting)方法是一种常用的统计学习方法,应用广泛且有效。在分类问题中,它通过改变训练样本的权重,学习多个分类器,并将这些分类器进行线性组合,提高分类性能。 提升方法AdaBoost...

weixin_40692963的博客 438

统计学习方法-第八章提升方法

AdaBoost算法: 步骤(1):假设训练数据集具有均匀的权值分布,即每个训练样本在基本分类器的学习中作用相同,这一假设保证第1步能够在原始数据上学习基本分类器G1(x) 步骤(2):AdaBoost反复学习基本分类器,在每一轮m=1,2…,M顺次地执行下列操作 (a):使用当前分布Dm加权的训练数据集,学习基本分类器Gm(x) (b):计算基本分类器Gm(x)在加权训练数据集上的分类误差率 ©:计算基本分类器Gm(x)的系数am (d):更新训练数据的权值分布为下一轮作准备 步骤(3):线性组合f(x)

weixin_45720751的博客 289

统计学习方法 第八章 提升方法

提升方法

m0_50650660的博客 259

统计学习方法-李航-第八章-提升方法

统计学习方法-李航-第八章-提升方法 知乎有一个问题:有哪些简短、强大、另人印象深刻的算法?我想 AdaBoost 应该占一席之地。它是如此的简短(十来行代码),高效,而且具有一些罕见的优点(大量训练不会导致过拟合),自诞生之初,关于它研究从未间断。AdaBoost 是 Boosting 的代表算法。 提升方法(Boosting)是集成学习(Ensemble learning)的一个分支,另一主要分支是引导聚合(Bagging)。所谓集成学习,是将多个“弱学习器”(处理分类问题仅比随机猜测好一点)组合

熊熊小姐的博客 428

《统计学习方法》第八章 提升方法(原理+代码)

最后,AdaBoost将基本分类器的线性组合作为强分类器,其中给分类误差率小的基本分类器以大的权值,给分类误差率大的基本分类器以小的权值。提升:每个基本模型训练时的数据集采用不同权重,针对上一个基本模型分类错误的样本增加权重,使得新的模型重点关注误分类样本。所谓的组合模型是由多个基本模型构成的模型,组合模型的预测效果往往比任意一个基本模型的效果都要好。每次迭代中,提高那些被前一轮分类器错误分类数据的权值,而降低那些被正确分类的数据的权值。AdaBoost算法的一个解释是该算法实际是前向分步算法的一个实现。

小鹏AI 521

《李航 统计学习方法》学习笔记——第八章提升方法

提升方法8.1提升方法AdaBoost8.1.1提升方法的基本思路8.1.2AdaBoost算法8.1.3AdaBoost的例子8.2AdaBoost算法的训练误差分析 8.1提升方法AdaBoost 简单来讲,提升方法在分类问题中,通过改变训练样本的权重,学习多个分类器,并将这些分类器进行线性组合,最终提高分类的性能。 8.1.1提升方法的基本思路 首先需要了解两个概念,强学习算法和弱学习算法。 强学习算法:存在一个多项式学习算法学习它且正确率高。 弱学习算法:存在一个多项式学习算法学习它但是正确率仅比

eveiii的博客 1007
上一篇: 《统计学习方法》(第七章)—— 支持向量机
下一篇: 《统计学习方法》(第九章)—— EM算法及推广
mkopvec
博客等级 码龄8年 22粉丝 331原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值