【DataWhale Day3】算法实践任务2

最新推荐文章于 2024-04-20 02:30:40 发布

shinsonwu

最新推荐文章于 2024-04-20 02:30:40 发布

阅读量163

点赞数

本文链接：https://blog.youkuaiyun.com/shinsonwu/article/details/85137061

版权

本文介绍了一种使用随机森林、GBDT、XGBoost和LightGBM四种模型进行金融贷款逾期预测的方法，通过AUC作为评价指标，XGBoost在初步实验中表现最优。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

0.问题描述

这份数据集是金融数据（非原始数据，已经处理过了），我们要做的是预测贷款用户是否会逾期。表格中 “status” 是结果标签：0表示未逾期，1表示逾期。
构建随机森林、GBDT、XGBoost和LightGBM这4个模型，评分方式任意。

1.评价指标

评价指标暂时选定为准确率值

通常金融的是否预期问题为不平衡数据，因此选区AUC为评价指标比较有参考意义

2.模型构建

模型构建的流程如下：

2.1数据导入

# 导入数据处理和建模需要使用的python包
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.model_selection import train_test_split
# 4个模型包
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import GradientBoostingClassifier
import xgboost as xgb
import  lightgbm as lgb

# 读取数据
data = pd.read_csv("../input/datawhale2246/data_all.csv")
#确认下目标变量得分布情况
data.status.value_counts()

项目	Value
0	3561
1	1193

跟之前猜测差不多，并没有特别均衡，后续再优化，建议可以采用auc-roc指标替换

2.2数据切分

# 切分数据集，引入随机数，以便模型结果复线
x = data.drop(['status'], axis=1)
y = data['status']
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=2018)

2.3模型构建

不同于任务一，需要尝试新的4个数模型。

2.3.1模型对象化

# 4个模型对象化，引入随机数，以便模型结果复线
xgb_clf = xgb.XGBClassifier(random_state=2018)
lgb_clf = lgb.LGBMClassifier(random_state=2018)
gbdt_clf = GradientBoostingClassifier(random_state=2018)
rf_clf = RandomForestClassifier(random_state=2018)

2.3.2 构建模型字典，以便后续引用

#建立一个模型的字典，以便后续批量模型
model_dict = {"rf":rf_clf,"gbdt":gbdt_clf,"xgb":xgb_clf,"lgb":lgb_clf }

2.4模型训练及评价

2.4.1封装模型训练及预测评价

#封装函数，始得可以一次性运行所有模型，避免代码冗余
def runModel():
    for i in model_dict.keys():
        print(i,"-training")
        clf = model_dict[i].fit(x_train, y_train)
        score = clf.score(x_test,y_test)
        print(i,"-Score:,",score)

2.4.1模型运行及评价结果

runModel()

最后结果如下：

rf -training
rf -Score:, 0.7708479327259986
xgb -training
xgb -Score:, 0.7855641205325858
gbdt -training
gbdt -Score:, 0.7806587245970568
lgb -training
lgb -Score:, 0.7736510161177295

在没有任何调参以及特征工程的情况下，xgb预测准确率最高。