Task 1 金融风控—赛题理解

最新推荐文章于 2021-03-29 20:46:23 发布

原创

最新推荐文章于 2021-03-29 20:46:23 发布 · 461 阅读

CC 4.0 BY-SA版权

本文深入解析了一项金融风控的竞赛，介绍了赛题背景、数据集构成及评估指标，如AUC、KS等。通过理解赛题，强调了特征工程和模型选择的重要性，并规划了比赛的时间安排，从数据探索到模型融合的完整流程。

比赛地址：https://tianchi.aliyun.com/competition/entrance/531830/introduction

赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。

数据包括80w训练集和40w测试集，包含47个变量，其中15个为匿名变量。

提交结果为每个测试样本是1的概率，也就是y为1的概率。评价方法为AUC评估模型效果（越大越好）。

对于金融风控预测类常见的评估指标如下:

1、KS(Kolmogorov-Smirnov) KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中，KS常用于评估模型区分度。区分度越大，说明模型的风险排序能力（ranking ability）越强。 K-S曲线与ROC曲线类似，不同在于 ROC曲线将真正例率和假正例率作为横纵轴
K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。

公式如下：
K S = m a x ( T P R − F P R ) KS=max(TPR-FPR)
KS=max(TPR−FPR)

KS不同代表的不同情况，一般情况KS值越大，模型的区分能力越强，但是也不是越大模型效果就越好，如果KS过大，模型可能存在异常，所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况，但此对应不是唯一的，只代表大致趋势。

import pandas as pd

train = pd.read_csv('train.csv')
testA = pd.read_csv('testA.csv')

print('Train data shape:', train.shape)
print('TestA data shape:', testA