零基础数据挖掘——金融风控（四）实践逻辑回归

原创

已于 2022-05-18 11:47:10 修改 · 1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#数据挖掘 #逻辑回归 #人工智能

于 2022-05-17 20:33:43 首次发布

本文通过阿里天池的金融风控项目，探讨逻辑回归在处理数据挖掘中的应用。内容涉及特征工程，如时间特征处理、缺失值与异常值处理，以及模型建立后的效果评估。在模型建立部分，比较了直接删除缺失值、插值法和箱线图方法对模型性能的影响，发现逻辑回归在处理此类问题时可能存在局限性，如对非线性问题的处理能力较弱。

1、前言

在重看我的项目的过程中发现自己对于相关知识点理解并不透彻，希望能理论联系实际，加深自己对基础知识的理解。项目来源于阿里天池学习赛——零基础入门金融风控-贷款违约预测，感兴趣的小伙伴可以自己去原文了解。

逻辑回归的优缺点：

优点
- 训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；
- 简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；
- 适合二分类问题，不需要缩放输入特征；
- 内存资源占用小，只需要存储各个维度的特征值；
缺点
- 逻辑回归需要预先处理缺失值和异常值；
- 不能用Logistic回归去解决非线性问题，因为Logistic的决策面是线性的；
- 对多重共线性数据较为敏感，且很难处理数据不平衡的问题；
- 准确率并不是很高，因为形式非常简单，很难去拟合数据的真实分布；

2、特征工程部分

①处理时间特征['issueDate']:

['issueDate']转化为与2007-06-01的时间差['issueDateDT']，按天计算。
['issueDate']转化为代表贷款月份的['issueDateM']，再转化为one-hot
['issueDate']本身删除

②['employmentLength']转化为纯数字表示工作年份

③取['earliesCreditLine']最后4个数字作为年份

④自定义编码处理['grade']和['subGrade']

⑤删除部分特征值

['postCode']邮政编码前三位，本质上是类别变量，代表的是地区，与regionCode有重复
['employmentTitle']就业职称，显然应该是类别型变量，但是有248683个变量，应该是要分箱处理的，这里考虑删除
['title']借款人提供的贷款名称，应该是一个很重要的变量，但是感觉数字不是线性的，同上条
['policyCode']只有一个特征，没有意义
['id']没有意义

⑥one-hot编码

['verificationStatus']
['issueDateM']
['purpose']
['regionCode']

import numpy as np
import pandas as pd
import datetime
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score, precision_score, recall_score, roc_auc_score

#导入数据
data_train = pd.read_csv('D:/myP/financial_risk/train.csv')
data_testA = pd.read_csv('D:/myP/financial_risk/testA.csv')

#将['issueDate']转化为距'2007-06-01'的天数
for data in [data_train, data_testA]:
    data['issueDate'] = pd.to_datetime(data['issueDate'],format='%Y-%m-%d')
    startdate = datetime.datetime.strptime('2007-06-01', '%Y-%m-%d')
    data['issueDateDT'] = data['issueDate']