xgb+网格调参流程及代码

最新推荐文章于 2025-03-04 14:00:00 发布

原创

最新推荐文章于 2025-03-04 14:00:00 发布 · 1.7k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#xgboost #网格调参 #python

本文介绍了XGBoost的基本概念，强调了其在机器学习中的高效性和准确性。接着，详细阐述了网格调参的方法，包括Grid Search与GridSearchCV在参数优化中的应用。通过实际代码示例展示了如何进行网格调参。最后，总结了XGBoost的突出特点，如支持L1和L2正则化、自动处理缺失值以及并行计算等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

xgb+网格调参流程及代码

XGB简介

XGBoost是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携。它在Gradient Boosting框架下实现机器学习算法。 XGBoost提供了并行树提升（也称为GBDT，GBM），可以快速准确地解决许多数据科学问题。相同的代码在主要的分布式环境（Hadoop，SGE，MPI）上运行，并且可以解决超过数十亿个样例的问题。

网格调参简介

Grid Search：网格调参，在参数列表中进行穷举搜索，对每种情况进行训练，找到最优的参数，比较耗时。

GridSearchCV：交叉验证经常与网格搜索进行结合，作为参数评价的一种方法，这种方法叫做grid search with cross validation。sklearn因此设计了一个这样的类GridSearchCV，这个类实现了fit，predict，score等方法，被当做了一个estimator，使用fit方法，该过程中：（1）搜索到最佳参数；（2）实例化了一个最佳参数的estimator。

网格调参代码

import xgboost as xgb

import pandas as pd

from sklearn.model_selection import GridSearchCV , train_test_split

X_train,X_test,y_train,y_test = train_test_split(features_df, label_df, random_state=10)

"""    
配置固定的参数
"""
other_params = {'learning_rate':0.1,
                            'seed': 234, 
                            'gamma': 0.1, 
                            'reg_alpha': 1, 
                            'r