xgboost:防止过拟合的方法收缩和特征列、采样

最新推荐文章于 2025-03-07 12:44:50 发布
原创 最新推荐文章于 2025-03-07 12:44:50 发布 · 1.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能 #深度学习

XGBoost采用了收缩技术和列子采样来防止过拟合。收缩是通过在每步提升后以η因子缩小新添加权重，类似于学习率，通常设置在0.1以下以提高泛化性能。列子采样则是在特征层面进行随机选择，优于传统的行子采样，同时加速计算并防止过拟合。这两种技术都在提升模型的稳定性和性能方面起到了关键作用。

xgboost除了第2.1节中提到的正则化目标之外，还使用了另外两种技术来进一步防止过拟合1。

目录

shrinkage2

第一种技术是由弗里德曼提出的收缩。在树提升的每一步之后，收缩率以η因子的比例缩放新添加的权重。与随机优化中的学习率类似，收缩减少了每棵树的影响，并为未来的树留下了改进模型的空间。

在论文2中有描述：

The “shrinkage” parameter 0 < v ⩽ 1 0<v\leqslant1 0<v⩽1 controls the learning rate of the procedure. Empirically (Friedman, 1999), it was found that small values ( ν ⩽ 0.1 ) (\nu\leqslant0.1) (ν⩽0.1) lead to much better generalization error.

shrinkage参数一般设置在 0 < v ⩽ 1 0<v\leqslant1 0<v⩽1范围内，Empirically (Friedman, 1999)发现小的值 ( ν ⩽ 0.1 ) (\nu\leqslant0.1) (ν⩽0.1)使得有更好的泛化性能；
F m ( x ) = F m − 1 ( x ) + v ⋅ γ l m 1 ( x ∈ R l m ) . F_m(\mathbf{x)=}F_{m-1}(\mathbf{x})+v\cdot\gamma_{lm}1(\mathbf{x}\in R_{lm}). Fm​

最低0.47元/天 解锁文章
XGBoost: A Scalable Tree Boosting System（XGBoost：一个可扩展的树提升系统）
weixin_41697507的博客
07-15 2758
XGBoost: A Scalable Tree Boosting System ABSTRACT Tree boosting is a highly e ective and widely used machine learning method. In this paper, we describe a scalable end-to-end tree boosting system call...
Py之XGBoost：XGBoost库(Kaggle神器)的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-13 8591
​ Py之XGBoost：XGBoost算法(Kaggle神器)的简介、安装、使用方法之详细攻略 目录 XGBoost算法模型(相关配图)的简介 XGBoost算法模型的代码实现 XGBoost算法模型的安装 XGBoost算法模型的使用方法 XGBoost算法模型的案例应用 相关文章 ML之XGBoost：《XGBoost: A Scalable Tree Boosting System》的翻译与解读 https://yunyaniu.blog.cs
XGBoost防止过拟合的方法
Ray_awakepure的博客
08-12 8624
一些从理论研究和实践经验中总结的防止过拟合的思路，这里以XGBoost为例，其他模型也可以用类似的思路。
xgboost3-各类防止过拟合的参数以及调参过程，以及模型的保存和调用
weixin_45271076的博客
05-28 2770
#展示各类参数的调参过程 #目的就是测试集的效果不能更差且与训练集的距离减小，主要防止过拟合 dfull=xgb.DMatrix(X,y)#其余参数都是默认 param1={"silent":True#并非默认 ,"obj":"reg:linear"#并非默认 ,"subsample":1 ,"max_depth":6 ,"eta":0.3 ,"gamma":0.3 ,"lambda":1 ,"alpha"..
机器学习笔记（3）-XGBoost
金融风控笔记
05-13 913
XGBoost的基本组成元素是：决策树。这些决策树即为“弱学习器”，它们共同组成了XGBoost；并且这些组成XGBoost的决策树之间是有先后顺序的：后一棵决策树的生成会考虑前一棵决策树的预测结果，即将前一棵决策树的偏差考虑在内，使得先前决策树做错的训练样本在后续受到更多的关注，然后基于调整后的样本分布来训练下一棵决策树。
XGBoost中如何防止过拟合
学无止境、积少成多、厚积薄发
07-17 7481
过拟合问题是在使用复杂的非线性学习算法时会经常碰到（例如gradient boosting算法），在前面的博客中，我们也已经详细的讲述了过拟合问题。 在本博客中，主要讲述XGBoost算法用Early Stopping方法避免过拟合。 项目中用到的数据集： Pima Indians Diabetes Data Set（皮马印第安人糖尿病数据集） 数据集的内容是皮马人的医疗记录，以及过去5年内是否有...
xgboost防止过拟合
luoganttcc的博客
03-05 1834
添加链接描述
文献阅读 - XGBoost: A Scalable Tree Boosting System
Always On The Way
11-03 1687
XGBoost: A Scalable Tree Boosting System T.Q. Chen, C. Guestrin, XGBoost: A Scalable Tree Boosting System, KDD (2016) 摘要 XGBoost：端到端可扩展提升树（a scalable end-to-end tree boosting system） 稀疏感知算法处理稀疏数据（sp...
XGBoost学习笔记
JunyongYao的博客
11-16 4406
XGBoost是Kaggle上非常火的一种模型，很多项目用它拿到了第一，这是对它的一些学习笔记。
防止过拟合（笔记）
01-06
一、正则化 所有的有监督机器学习，无非就是正则化参数的同时最小化经验误差函数。最小化经验误差是为了极大程度的拟合训练数据，正则化参数是为了防止过分的拟合训练数据。                                            λ 为正则化系数，通常是大于 0 的，是一种调整经验误差项和正则化项之间关系的系数。 L1 范数就是矩阵中各元素绝对值之和； L2 范数是指矩阵中各元素的平方和后的求根结果。正则化的原理在于最小化参数矩阵的每个元素，使其无限接近于 0    L1 就是江湖上著名的 lasso，L2 则是岭回归                            
xgboost中用来防止过拟合的措施
YangTinTin的博客
03-17 3405
1、损失函数中加入了正则化项，相当于预剪枝 2、shrinkage 即在迭代中为树的叶子结点乘以一个权重衰减稀疏，以削弱每棵树的影响力，为后面的树留下提升空间3 3、列采样，即特征采样。 有按层采样和建树之前随机采样两种方式。 其中按层采样是在同一层的结点进行分裂之前随机选择部分特征，对这些部分特征进行遍历，寻找最优切分点，而不用遍历全部特征。 建树之前随机选择特征是在建树之前就选择部分特征，在之...
在XGBoost中通过Early Stop避免过拟合
小美哥的博客
12-15 9774
本文翻译自Avoid Overfitting By Early Stopping With XGBoost In Python，讲述如何在使用XGBoost建模时通过Early Stop手段来避免过拟合。全文系作者原创，仅供学习参考使用，转载授权请私信联系，否则将视为侵权行为。码字不易，感谢支持。以下为全文内容： 过拟合问题是在使用复杂的非线性学习算法时会经常碰到的，比如gradient bo...
Python降低XGBoost 过度拟合多种方法
fulk6667g78o8的专栏
08-27 3883
在公众号「python风控模型」里回复关键字：学习资料，免费领取资料。 python风控模型 持牌照金融公司模型专家，教学主页 https://ke.qq.com/teacher/231469242?tuin=dcbf0
防止过拟合！Matlab也能利用PSO-XGboost一键实现时间序列预测啦！
QSJIQIXUEXI的博客
09-02 1484
以往XGBoost只能在Python中运行，虽然运行较快，但是无法结合自己的智能优化算法进行结合。如果能够利用Matlab实现XGBoost，那么结合24年新算法或自己改进的算法将会非常方便，也会有更多的创新点！附赠五折交叉验证防止过拟合！
Xgboost调参--针对过拟合和非平衡数据
热门推荐
凝眸伏笔的博客
06-26 2万+
调参须知：在机器学习中，调参是一项dark art(可以理解为一项优美而道不明的事情)。一个模型的最优参数取决于很多因素。因此不可能建立一个完备的调参说明书去获取最优参数。理解 Bias-Variance tradeoff(先说一下tradeoff的意思：就是折中的意思，这里是说)如果你上过机器学习或者统计学课程，这是一个非常重要的概念。当我们允许一个模型非常复杂的时候（比如，增加每一棵树的深度d...
XGboost常见面试题总结（一）——About过拟合
qq_43710593的博客
03-07 670
【代码】XGboost常见面试题总结。
监督学习（四）：XGBoost算法
南有芙蕖
09-29 2787
监督学习（四）：XGBoost算法   XGBoost（eXtreme Gradient Boosting）全名叫极端梯度提升，XGBoost是集成学习方法的王牌，在Kaggle数据挖掘比赛中，大部分获胜者用了XGBoost，XGBoost在绝大多数的回归和分类问题上表现的十分顶尖，本文较详细的介绍了XGBoost的算法原理。 目录监督学习（四）：XGBoost算法1. 最优模型的构建方法2. Boosting的回归思想3. XGBoost的目标函数推导4. XGBoost的回归树构建方法5. XGBo
XGBoost在训练集上过拟合，但在测试集上R……2得分为负数
最新发布
04-26
<think>好的，我现在需要帮用户解决关于XGBoost参数含义、改善过拟合以及处理R²为负数的问题。首先，用户之前已经问过类似的问题，我之前也给出了详细的参数解释和过拟合调整方法，现在用户再次提问，并补充了引用资料，还提到测试集R²为负数的情况。我需要整合之前的回答和新的引用信息，同时解决R²负数的问题。 首先，用户提到的引用[1]指出过拟合的两个方法：控制模型复杂度和增加随机性，比如调整max_depth、min_child_weight、gamma、subsample、colsample_bytree，以及降低learning_rate并配合n_estimators。这和之前我的回答是一致的，所以需要保持这些建议。引用[2]和[3]提供了XGBClassifier和XGBRegressor的参数示例，用户可能希望更具体地结合这些参数。 用户现在的问题有三个部分：参数含义、改善过拟合、解决R²负数。我需要逐一解决。 参数含义部分，用户提到的参数包括n_estimators、learning_rate、subsample、colsample_bytree、max_depth、gamma。我需要参考之前的解释，并确保与引用[1][2][3]中的信息一致。比如，subsample和colsample_bytree的作用是增加随机性，防止过拟合，这和引用[1]中的说法一致。 改善过拟合的方法我之前已经详细列出，如降低模型复杂度、增加正则化、调整采样率等，结合引用中的内容，可能需要强调这些参数的具体调整范围，比如subsample设为0.7-0.9，colsample_bytree设为0.6-0.8等。 R²为负数的情况说明模型在测试集上的表现比简单取均值还差，这通常意味着模型严重过拟合，或者数据存在严重问题。需要分析可能的原因，比如数据泄露、特征与目标无关、模型过于复杂或训练不足等。解决方案可能包括检查数据质量、简化模型、增加正则化、交叉验证、调整学习率等。此外，引用[1]中提到降低学习率并增加n_estimators，这可能有助于提升模型泛化能力，进而改善R²。 需要确保回答结构清晰，分点列出，参数解释部分使用用户提到的参数，结合引用中的例子，如引用[2]中的XGBClassifier参数设置，可能可以对比到Regressor的参数。同时，解决R²负数的问题需要具体步骤，比如检查数据预处理、特征工程、模型复杂度、早停法等。 另外，用户可能希望得到具体的调参建议和步骤，比如先调整哪些参数，再调整哪些，类似于之前的系统化调参步骤。同时，可能需要加入代码示例，比如如何设置早停法，如何监控验证集的性能，以及如何评估R²分数。 还要注意用户提到的引用[3]中的XGBRegressor的参数列表，可能需要引用其中的参数如reg_alpha和reg_lambda来增强正则化，解决过拟合和R²问题。 最后，需要生成相关问题，帮助用户进一步理解，比如如何计算R²，如何选择早停法的轮数，或者如何分析特征重要性等。 总结下来，回答的结构应该是： 1. 参数详解：逐个解释用户提到的参数，结合引用中的信息。 2. 改善过拟合的方法：结合之前的建议和引用内容，强调关键参数调整。 3. R²为负的原因分析和解决方案：详细列出可能原因和具体解决步骤，包括数据检查、模型调整等。 4. 示例代码：展示如何设置参数，包括正则化项和早停法。 5. 相关问题：引导用户深入探讨相关问题。 需要确保语言简洁，使用中文，正确应用LaTeX格式，如参数值范围用$符号包裹，独立公式用$$。同时，引用标记要正确添加到对应的建议部分，例如引用[1]提到的控制复杂度和增加随机性的方法，在解释参数时要标注[^1]。 可能还需要检查之前的回答是否有遗漏，比如在解决过拟合时是否提到了正则化参数reg_lambda和reg_alpha，因为用户现在的引用[3]中提到了这些参数，需要补充说明。此外，在R²部分，可能需要解释R²的计算公式，说明负数的情况，帮助用户理解问题根源。 最后，确保所有建议都基于用户提供的引用和之前的回答，保持信息的一致性和准确性，避免矛盾或重复。</think>### XGBoost参数详解与性能优化指南 #### 一、核心参数解析 1. **n_estimators** 基学习器（决策树）的总数量。数值越大模型拟合能力越强，但过高的值可能导致过拟合。建议结合`learning_rate`调整，采用**低学习率+多树量**策略（如`learning_rate=0.05`时设置`n_estimators=1000`）[^1]。 2. **learning_rate** 学习步长收缩因子，范围$[0,1]$。较小的值（如0.01-0.1）能提升泛化能力，但需要相应增加树数量。公式关系： $$\text{实际学习步长} = \text{基学习器权重} \times \text{learning_rate}$$[^1] 3. **subsample** 样本随机采样率，范围$(0,1]$。例如`subsample=0.8`表示每棵树仅使用80%训练样本，通过引入随机性抑制过拟合[^1]。 4. **colsample_bytree** 特征随机采样率，范围$(0,1]$。控制每棵树选择特征的比例，降低特征间相关性影响，建议设为$0.6-0.9$[^1]。 5. **max_depth** 单棵树的最大深度，默认6。深度越大模型越复杂，但超过合理值（通常$3-8$）会显著增加过拟合风险。实验表明： $$ \text{深度每增加1层，模型复杂度指数级增长} $$[^2] 6. **gamma** 节点分裂所需最小损失减少量，默认0。增大该值（如0.1-0.3）可抑制树生长，公式定义： $$ \text{分裂条件} = \text{左节点损失} + \text{右节点损失} + \gamma < \text{父节点损失} $$[^3] #### 二、过拟合改善方案 1. **结构化参数调整** - 降低`max_depth`（建议4-6） - 提高`min_child_weight`（子节点最小样本权重和，建议5-10） - 增加`gamma`（建议0.1-0.3） 2. **随机性增强** - 设置`subsample=0.7-0.9` - 设置`colsample_bytree=0.6-0.8` 3. **正则化强化** ```python reg_alpha=0.5 # L1正则系数，稀疏化特征 reg_lambda=1.5 # L2正则系数，平滑权重 ``` 4. **学习策略优化** - 采用早停法监控验证集表现： ```python model.fit(X_train, y_train, eval_set=[(X_valid, y_valid)], early_stopping_rounds=50, verbose=False) ``` #### 三、R²为负的解决路径 当测试集R²<0时，说明模型预测效果**差于简单均值预测**，可能原因及对策： 1. **数据层面问题** - 检查特征与目标变量的相关性（使用`df.corr()`） - 验证数据泄露（训练集包含测试集信息） - 处理异常值（使用IQR或3σ法则） 2. **模型层面调整** - 降低模型复杂度：`max_depth=3`, `gamma=0.2` - 增强正则化：`reg_lambda=2`, `reg_alpha=1` - 调整学习策略：`learning_rate=0.01`配合`n_estimators=2000` 3. **评估方法优化** - 使用交叉验证确保评估可靠性： ```python from sklearn.model_selection import cross_val_score scores = cross_val_score(model, X, y, cv=5, scoring='r2') ``` 4. **特殊场景处理** - 对非平稳时序数据，采用walk-forward验证 - 对高维稀疏数据，启用`tree_method='hist'`加速计算[^1] #### 四、完整调参示例 ```python from xgboost import XGBRegressor model = XGBRegressor( n_estimators=1500, learning_rate=0.02, max_depth=4, subsample=0.75, colsample_bytree=0.7, gamma=0.15, reg_alpha=0.5, reg_lambda=1.2, objective='reg:squarederror', eval_metric=['rmse', 'mae'], early_stopping_rounds=100 ) model.fit(X_train, y_train, eval_set=[(X_valid, y_valid)], verbose=100) ``` #### 五、性能监控指标 1. 训练过程可视化 ```python results = model.evals_result() plt.plot(results['validation_0']['rmse'], label='Train') plt.plot(results['validation_1']['rmse'], label='Test') plt.legend() plt.show() ``` 2. R²计算公式 $$ R^2 = 1 - \frac{\sum(y_i - \hat{y}_i)^2}{\sum(y_i - \bar{y})^2} $$ 当分子>分母时出现负值，表明模型预测误差大于简单均值预测[^2]。 --相关问题--: 1. 如何通过SHAP值分析特征对R²的影响？ 2. `min_child_weight`参数如何与样本权重配合使用？ 3. 在时间序列预测中如何特殊处理XGBoost的输入数据？ 4. 如何解读学习曲线判断模型是否欠拟合？ [^1]: sklearn中的xgboost_XGboost(二)——常用参数 [^2]: 多因子模型中的XGBoost参数调整实践 [^3]: XGBRegressor官方参数文档
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

KPer_Yang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值