GBDT参数调优

最新推荐文章于 2025-06-29 16:01:44 发布

hhy518518

最新推荐文章于 2025-06-29 16:01:44 发布

阅读量2.2w

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Kaggle系列数据科学机器学习文章标签：数据机器学习 python 数据挖掘读书笔记

本文链接：https://blog.youkuaiyun.com/hhy518518/article/details/54947880

本文详细介绍了在GBDT模型中如何进行特征工程，包括变量选择、缺失值处理和变量创建。接着，重点讨论了XGBoost参数调节，如学习率、子样本比例、最大深度等，并通过交叉验证选择最佳参数。最终，通过调整学习率和树的数量，提高了模型的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要：

此处主要是如何利用GBDT以及如何进行调参，特征工程处理的比较简单。

特征工程：

City这个变量已经被我舍弃了，因为有太多种类了。
DOB转为Age|DOB,舍弃了DOB
创建了EMI_Loan_Submitted_Missing这个变量，当EMI_Loan_Submitted 变量值缺失时它的值为1，否则为0。然后舍弃了EMI_Loan_Submitted。
EmployerName的值也太多了，我把它也舍弃了
Existing_EMI的缺失值被填补为0（中位数），因为只有111个缺失值
创建了Interest_Rate_Missing变量，类似于#3，当Interest_Rate有值时它的值为0，反之为1，原来的Interest_Rate变量被舍弃了
Lead_Creation_Date也被舍弃了，因为对结果看起来没什么影响
用Loan_Amount_Applied和 Loan_Tenure_Applied的中位数填补了缺失值
创建了Loan_Amount_Submitted_Missing变量，当Loan_Amount_Submitted有缺失值时为1，反之为0，原本的Loan_Amount_Submitted变量被舍弃
创建了Loan_Tenure_Submitted_Missing变量，当Loan_Tenure_Submitted有缺失值时为1，反之为0，原本的Loan_Tenure_Submitted变量被舍弃
舍弃了LoggedIn,和Salary_Account
创建了Processing_Fee_Missing变量，当Processing_Fee有缺失值时为1，反之为0，原本的Processing_Fee变量被舍弃
Source-top保留了2个，其他组合成了不同的类别
对一些变量采取了数值化和独热编码（One-Hot-Coding）操作

测试数据与训练数据合成

# 载入数据:
    train_df = pd.read_csv('Train.csv',encoding = "ISO-8859-1")
    test_df = pd.read_csv('Test.csv',encoding = "ISO-8859-1")
    # train_df['source'] = 'train'
    # test_df['source'] = 'test'
    df = pd.concat([train_df,test_df],ignore_index=True)