【EDA】天池金融风控-贷款违约预测

贷款数据集分析与评估指标
最新推荐文章于 2021-07-14 16:19:21 发布
原创 最新推荐文章于 2021-07-14 16:19:21 发布 · 453 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了贷款数据集的特征，包括贷款金额、期限、利率等，并使用Python进行数据加载与初步分析。通过混淆矩阵、准确率、精确率、召回率、F1分数、P-R曲线、ROC曲线、AUC和KS值等评估指标，全面衡量模型性能。 
import pandas as pd


train = pd.read_csv('data/train.csv')
testA = pd.read_csv('data/testA.csv')

print('Train data shape:',train.shape)
print('TestA data shape:',testA.shape)

Train data shape: (800000, 47)
TestA data shape: (200000, 48)


train.head()
id loanAmnt term interestRate installment grade subGrade employmentTitle employmentLength homeOwnership ... n5 n6 n7 n8 n9 n10 n11 n12 n13 n14
0 0 35000.0 5 19.52 917.97 E E2 320.0 2 years 2 ... 9.0 8.0 4.0 12.0 2.0 7.0 0.0 0.0 0.0 2.0
1 1 18000.0 5 18.49 461.90 D D2 219843.0 5 years 0 ... NaN NaN NaN NaN NaN 13.0 NaN NaN NaN NaN
2 2 12000.0 5 16.99 298.17 D D3 31698.0 8 years 0 ... 0.0 21.0 4.0 5.0 3.0 11.0 0.0 0.0 0.0 4.0
3 3 11000.0 3 7.26 340.96 A A4 46854.0 10+ years 1 ... 16.0 4.0 7.0 21.0 6.0 9.0 0.0 0.0 0.0 1.0
4 4 3000.0 3 12.99 101.07 C C2 54.0 NaN 1 ... 4.0 9.0 10.0 15.0 7.0 12.0 0.0 0.0 0.0 4.0

5 rows × 47 columns

数据概况

一般而言，对于数据在比赛界面都有对应的数据概况介绍（匿名特征除外），说明列的性质特征。了解列的性质会有助于我们对于数据的理解和后续分析。 Tip:匿名特征，就是未告知数据列所属的性质的特征列。

train.csv

  • id 为贷款清单分配的唯一信用证标识
  • loanAmnt 贷款金额
  • term 贷款期限（year）
  • interestRate 贷款利率
  • installment 分期付款金额
  • grade 贷款等级
  • subGrade 贷款等级之子级
  • employmentTitle 就业职称
  • employmentLength 就业年限（年）
  • homeOwnership 借款人在登记时提供的房屋所有权状况
  • annualIncome 年收入
  • verificationStatus 验证状态
  • issueDate 贷款发放的月份
  • purpose 借款人在贷款申请时的贷款用途类别
  • postCode 借款人在贷款申请中提供的邮政编码的前3位数字
  • regionCode 地区编码
  • dti 债务收入比
  • delinquency_2years 借款人过去2年信用档案中逾期30天以上的违约事件数
  • ficoRangeLow 借款人在贷款发放时的fico所属的下限范围*
  • ficoRangeHigh 借款人在贷款发放时的fico所属的上限范围
  • openAcc 借款人信用档案中未结信用额度的数量
  • pubRec
最低0.47元/天 解锁文章
阿里云天池大数据长期赛：金融风控-贷款违约预测（含代码）
weixin_46685991的博客
07-19 1万+
本次比赛让自己在大数据的处理流程上有了更明确的认知，从数据清洗、特征工程、数据建模，每一个过程都能学到很多经验和知识，值得去历练。
【天池】金融风控贷款违约预测task5
qq_38444706的博客
09-27 491
【天池】金融风控贷款违约预测task5 task5学习总结： 1）简单平均和加权平均是常用的两种比赛中模型融合的方式。其优点是快速、简单。 2）stacking在众多比赛中大杀四方，但是跑过代码的小伙伴想必能感受到速度之慢，同时stacking多层提升幅度并不能抵消其带来的时间和内存消耗，所以实际环境中应用还是有一定的难度。 3）当然在比赛中将加权平均、stacking、blending等混用也是一种策略。 # task5 模型融合 # 方法：1）平均：简单、加权；2）投票：简单、加权；3）综合：排序融合、
天池金融风控-贷款违约预测
nnezlyq的博客
09-15 1254
比赛链接：https://tianchi.aliyun.com/competition/entrance/531830/introduction 因为这是一个金融风控专题的数据挖掘实战，在开始之前先引入一些预备知识。 1.预备知识 1.1预测指标 本次竞赛用AUC作为评价指标，AUC为ROC曲线下与坐标轴围成的面积大小。 分类算法常见的评估指标 1、混淆矩阵（confused matrix） 1.若一个实例为正类，预测也为正类，则为真正类TP(True Positive) 2.若一个实例为正类，预测也为负类
天池-金融风控-贷款违约预测-特征工程
weixin_44122249的博客
09-21 339
先列个大纲 数据预处理 缺失值 时间格式 字符型转换为数值型 异常值处理 基于3个标准差原则 基于箱型图 数据分箱 固定宽度分箱 分位数分箱 特征挖掘 特征组合 特征衍生 特征编码 one-hot编码 label-encode编码 特征选择 Filter Wrapper （RFE） Embedded ...
「机器学习」天池比赛：金融风控贷款违约预测
热门推荐
积一时之步，臻千里之遥程
03-29 3万+
https://zhuanlan.zhihu.com/p/255105477 https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.18.3b3022faqoVnOw&postId=129318 https://www.jianshu.com/u/63b7115ac4ee https://blog.youkuaiyun.com/qq_43401035/category_10383961.html 比赛地址：https://tia
2.天池金融风控-贷款违约预测新人赛之数据分析
weixin_43885256的博客
09-14 814
前一部分我们对一些分类指标等一些预备知识进行了学习，接下来我们要进行的是探索性的数据分析（EDA）。 EDA是我们进行数据挖掘非常重要的一步，做的好的EDA可以让我们对数据作出更准确的分析，一方面是让我们了解整个数据集，包括缺失值，异常值，变量间的练习等，另一方面也是为我们之后的特征工程做好准备。 1.数据的总体了解，缺失值，唯一值 #导入需要的库 import numpy as np import pandas as pd import seaborn as sns import matplotlib.p
零基础入门金融风控-贷款违约预测-数据分析
qq_39703047的博客
09-18 1980
1.数据分析        查看并初步了解数据，熟悉数据，为后续的特征工程做准备，主要目的如下：        1.EDA价值主要在于熟悉整个数据的基本情况（取值类型、取值类别、取值范围、缺失值、异常值等），对数据集进行分析是否可以进一步进行建模分析；        2.了解各变量间的相互关系、变量与
【天池】金融风控-贷款违约预测（二）—— 数据分析
u011961803的博客
09-18 1844
【天池】金融风控-贷款违约预测（二）—— 数据分析前言内容介绍代码示例总结 前言 【天池】金融风控-贷款违约预测（赛题链接）。 上一篇赛题理解时已经对赛题背景、数据字段等进行了介绍。 本篇是数据分析部分，进一步了解数据，熟悉数据，为后续的特征工程做准备。一般的数据探索（EDA，Exploratory Data Analysis）目的如下： 1、EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模； 2、了解变量间的相互关系、变量与预测
天池项目笔记-金融风控-贷款违约预测 Task2
qq_34080297的博客
09-18 678
Task02_EDA 1.导入数据 load the data train_data = pd.read_csv('./train.csv', sep = ',') test_data = pd.read_csv('./testA.csv', sep = ',') 2.数据浏览 data overview ​ 在开始使用数据前先对其进行大概的浏览，包括数据的行列、缺失值、重复值与统计信息等。 train_data.head() id loanAmnt term interestRate ins
天池贷款违约预测
weixin_48252774的博客
03-24 908
# 读取数据 data_row = pd.read_csv('D:/天池/贷款违约预测/train.csv') data_row.head(5) # 查看分类情况 data_row.isDefault.value_counts() # 提取类别 cols_row = data_row.columns.to_list() # 提取文本列并替换为数字 cat_ = data_row.select_dtypes(include='object').columns Index([‘grade’, ‘subG
天池案例-贷款违约预测（lgb）
weixin_41175904的博客
07-14 1909
1 案例描述 赛题以预测用户贷款是否违约为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。 提交结果为每个测试样本是1的概率，也就是y为1的概率。评价方法为AUC评估模型效果（越大越好）。 2 代码详情 im...
天池竞赛：金融风控-贷款违约预测
Nicole的博客
09-15 3418
竞赛地址：https://tianchi.aliyun.com/competition/entrance/531830/information
天池项目笔记-金融风控-贷款违约预测 Task3
qq_34080297的博客
09-18 1002
Task03_特征工程 features engineering 目前只是数据预处理和初步洞察（初步 basic preprocessing）后续更新思路。可以考虑使用评分卡模型对这一问题进行分析。 1.时间格式处理 1.1 将earliesCreditLine 特征转为日期类型 ​ 通过观察原始数据，‘earliesCreditLine’数据为字符串数据，将日期以非结构化形式保存。这一步将这一数据进行结构化处理转为datetime类型，方便模型使用和后续的特征工程构建，记录为’earliesCreditL
天池-金融风控-贷款违约预测-数据分析
weixin_44122249的博客
09-18 505
Part I:背景 Part II:结论 Part III:分析框架 数据概览 数据量、数据类型、数据缺失情况和数据分析； 相关性分析 两两特征的散点图和相关系数； Part IV:详细分析 4.1.数据概览 4.1.1数据条数 4.1.2数据类型 4.1.3数据缺失 4.1.4数据分布 4.2.相关性分析 4.2.1散点图 4.2.2相关系数 Part V:遗留问题 ...
1.天池金融风控-贷款违约预测新人赛之预备知识
weixin_43885256的博客
09-11 383
比赛链接：金融风控-贷款违约预测 因为这是一个金融风控专题的数据挖掘实战，在开始之前先引入一些预备知识。 1.预备知识 1.1预测指标 本次竞赛用AUC作为评价指标，AUC为ROC曲线下与坐标轴围成的面积大小。 分类算法常见的评估指标 混淆矩阵（confused matrix） 1.若一个实例为正类，预测也为正类，则为真正类TP(True Positive) 2.若一个实例为正类，预测也为负类，则为假负类FN(False Negative) 3.若一个实例为负类，预测也为正类，则为假正类FP(False
零基础入门金融风控预测-01
duyue1的博客
09-15 536
赛题理解 数据来源 数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。 评价指标 竞赛采用AUC作为评价指标。AUC（Area Under Curve）被定义为 ROC曲线 下与坐标轴围成的面积。 赛题流程 数据EDA 特征工程 建模调参 模型融合 ...
零基础入门金融风控 Task4 建模与调参
Rock_y的博客
09-24 1563
文章目录Task4 建模与调参4.1 学习目标4.2 内容介绍4.3 模型相关原理介绍4.3.1 逻辑回归模型4.3.2 决策树模型4.3.3 GBDT模型4.3.4 XGBoost模型4.3.5 LightGBM模型4.3.6 Catboost模型4.3.7 时间序列模型(选学)4.3.8 推荐教材：4.4 模型对比与性能评估4.4.1 逻辑回归4.4.2 决策树模型4.4.3 集成模型集成方法（ensemble method）4.4.4 模型评估方法4.4.5 模型评价标准4.5 代码示例4.5.1 导
「数据科学」天池金融风控-贷款违约预测数据分析
秀球Gang的学习小站
09-17 4211
天池金融风控-贷款违约预测数据分析1. 学习目的2. 了解数据2.1 导入第三方库2.2 读取文件2.2.1 拓展知识2.3 总体了解2.3.1 样本个数和特征维度3. 数据分析与可视化3.1 缺失值与唯一值3.2 数值类型与对象类型3.2.1 数值类型变量分析3.2.2 对象类型变量分析3.3 变量分布可视化3.3.1 单一变量分布可视化3.3.2 根绝y值不同可视化x某个特征的分布3.4 时间数据处理与可视化3.5 透视图3.6 生成数据报告4. 总结 1. 学习目的 上一篇文章介绍了天池“金融风控-贷
阿里天池学习赛-金融风控-贷款违约预测
weixin_40139561的博客
09-15 6394
阿里天池学习赛-金融风控-贷款违约预测1 赛题理解1.1 赛题数据1.2 评测标准2 探索性分析（EDA） 1 赛题理解 项目地址： https://github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl 比赛地址： https://tianchi.aliyun.com/competition/entrance/531830/introduction 1.1 赛题数据 赛题以预测金融风险为任务，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值