Gradient boosted decision tree

本文深入探讨了Adaboost与Gradient Boosting两种机器学习算法。Adaboost通过调整错误样本权重来优化决策树,而Gradient Boosting则通过梯度下降方式提升模型性能。文章还介绍了Adaboost中权重计算的数学原理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.Adboost decision tree
在这里插入图片描述

Gradient boosted decision 就是将Adaboost和decision Tree结合起来的算法。
在这里插入图片描述
Adaboost是根据前一步求出的g的错误率来提高错误数据在下一笔训练数据里面的权重来不断训练处新g的。
但是decision tree没有权重的概念我们该怎么办呢?我们的方法是根据权重来对数据进行取样,比如错误率本来是10,那么我们就把错误数据的采样概率提高10倍,然后用采样的新数据来训练新的决策树。
在这里插入图片描述
但是如果我们总是训练出一个完全的决策树,那么决策树的错误率总是0,那么其在最终结果中的权重都将是无穷大,所以这时不行的,我们采取的方法是:对决策树进行剪枝或者限定树的高度,不训练出一个完全的决策树。
比如说,限制高度为1:
在这里插入图片描述
当限制高度为1时,我们不需要做sampling,而是直接将权重带进去,因为一层的决策树就是一个简单的二分问题。

2.optimization of Adaboost
主要计算adaboost权重的来源:
αt=ln1−ϵtϵt\alpha_t=ln\sqrt{\frac{1-\epsilon_t}{\epsilon_t}}αt=lnϵt1ϵt
有点复杂,我就不写了,用到的时候再去看吧。

3.Gradient boosting

### 提升回归树集成方法简介 提升回归树(Boosted Regression Trees, BRT),也称为梯度提升决策树(Gradient Boosting Decision Trees, GBDT),是一种强大的机器学习技术,用于解决回归问题。该模型通过逐步构建多个弱预测器——通常是浅层决策树,并将这些树组合成一个强预测器来提高整体性能。 #### 工作原理 BRT的核心理念在于迭代地训练一系列基学习器,在每次迭代过程中专注于前一轮未能很好拟合的数据样本。具体来说: - **初始化**:首先设定初始预测值,通常取目标变量的平均值作为起始点。 - **残差计算**:对于每一个观测数据,计算当前模型预测值与实际观察值之间的差异,即所谓的“伪残差”。这一过程旨在识别现有模型无法解释的部分[^2]。 - **新树生长**:基于上述得到的伪残差,利用贪心算法寻找最佳分裂点并建立新的回归树。此步骤会特别关注那些之前被错误分类或估计不准的地方。 - **更新权重/参数**:调整最新加入树木的重要性系数(learning rate乘以对应叶节点分数)。这有助于控制每棵树对最终输出的影响程度,防止过拟合并促进泛化能力。 - **累加贡献**:将新增加的一棵或多棵树的结果叠加到已有模型之上,形成更精确的整体预测函数。 #### 并行优化策略 为了加速大规模数据集上的训练速度以及充分利用现代多核处理器架构的优势,研究者们提出了稀疏感知并行树学习算法。这类改进措施能够在保持原有精度的同时显著减少运算时间开销[^1]。 ```python from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split from sklearn.ensemble import GradientBoostingRegressor # 创建模拟数据集 X, y = make_regression(n_samples=1000, n_features=20, noise=0.1) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 初始化GBDT模型 gbdt_model = GradientBoostingRegressor() # 训练模型 gbdt_model.fit(X_train, y_train) # 预测 predictions = gbdt_model.predict(X_test) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值