python之信贷风险数据分析及逻辑回归预测,sklearn特征工程

开发良好信用和不良信用不平衡分类的模型 Python 本教程分为五个部分;德国信用数据集探索数据集模型测试和基线结果评估模型评估机器学习算法评估欠采样进一步的模型改进对新数据进行预测。 阅读详情

最近看的一些风险信贷相关的一些写的比较详细的博客,还有使用sklearn进行特征工程的博客,单纯的进行简单整理和记录,详细的可以点击链接。

1.Python案例分析之客户信贷预测模型

来自 https://blog.youkuaiyun.com/weixin_43656359/article/details/104683553
文章发布于2020-3-14

该网页中内容主要介绍了客户信贷预测的一般流程,主要包括数据清洗、建模、预测三部分,使用的数据集是Lending club平台的业务数据,共有52个变量,39522条记录。
详细步骤如下:

  1. 对数据集中缺失率超过一半的列进行剔除
  2. 样本中对银行评定是否放贷并没有任何影响,与预测没有关系的标签,结合实际情况进行剔除。
  3. 去掉标签中只有一种属性的列
  4. 对数据进行LabelEncoder 或者OneHotEncoder编码
  5. 处理缺失值,对于缺失量不是很多的数据,可以直接去掉缺失值所在的行。对于缺失量比较多的数据,说明该数据存在的问题,再将该特征进行删除
  6. sk-learn库不接受字符型的数据,将特征中的字符型数据进行处理,该部分使用了get_dummies(),get_dummies就是OneHotEncoder类型编码。

关于什么时候用OneHotEncoder独热编码和LabelEncoder标签编码? 特征的属性小于等于3
,用OneHotEncoder,比如:天气、性别 ,属于无序特征 特征的属性大于3,用LabelEncoder,比如:星期属于有序型

  1. 接下来是模型的训练,对于二分类分题,一般首选逻辑回归。在这一步要确定好评价的指标,为了实现利润最大化,这里采用了TPR(True positive rate)和FPR(False positive rate)作为评价指标。
  2. 分析需求,及分析客户信贷的目的是赚取有能力偿还贷款客户的利息。

1)第一个实际值为0,客户不会还钱,模型预测客户能还钱,为1
,假设系统贷给了客户1000块钱,但是一分都没还,说明预测错了为阴性,赔了1000块钱
2)第二个实际值为1,客户有偿还能力,模型预测客户有能力偿还,就挣了客户的利息钱,1000*0.1 =100块钱
3)第三个实际值为0,本来客户是不还钱的,模型预测不还钱,并且没有贷款给他 4)第四个客户能还钱,模型预测客户不能还 ,没有贷款给他

  1. 建立混淆矩阵,并计算TPR和FPR,本质上期望TPR越高越好,FPR越低越好
  2. 分析得到的预测结果,发现预测结果中错误率和正确率都达到99.9%,错误率太高,判断原因是因为正负样本不均衡导致,于是需要进行数据增强或者自定义权重。
  3. 考虑权重后再使用逻辑回归进行训练。

2.利用LendingClub数据建模

来自 https://zhuanlan.zhihu.com/p/21550547
文章发布于2016-07-11

该篇文章主要写的也是信用风险模型相关,该文章发表的时间比较早,使用的数据是Lending Club2015年下半年的数据,总共有269000条,数据字段有117个。

  1. 第一步是数据预处理。在数据预处理方面作者没有细讲,主要的预处理有:
    1)贷后的相关变量除了target变量,其余直接剔除,因为贷后表现在客户申请时是没有的,如果进入模型实际上就成了未来变量;
    2)缺失率太高的变量直接剔除,本文是按65%的阈值来剔除的;
    3)数值变量中所有值方差太小接近常量的变量剔除,因为不能提供更多信息;
    4)按业务逻辑完全不可解释的变量直接剔除,
    5)分类变量中unique值大于20的直接剔除;
    6)将object类型数据转换成数值类型;
    7)缺失值单独当作一类,填充-999。
  2. 对数据进行预处理后,作者采用了GBDT进行特征重要性的计算。
  3. 接下来就是对一些数据进行了可视化,包括FICO分,住房性质,贷款用途,收入水平等。
  4. 然后进行WOE编码(PS:这一块不太懂,统计指标,包括IV,GINI,KS,AUC,PSI等)。
  5. 最后使用Python中的Statsmodels跑逻辑回归。
    这个作者的前面几篇文章还介绍了一些数据分析相关的知识,也可以了解一下。

3.使用sklearn做特征工程

来自 https://note.youdao.com/ynoteshare1/index.html?id=cad1ae323c16c3038c9169f8c647c31b
文章发布于2017.03.11

这篇文章主要介绍了一下如何使用sklearn进行特征工程,主要分为4部分
1.特征工程是什么?(图不清楚可以点击点接进作者的笔记)
在这里插入图片描述
2.数据预处理

使用的是sklearn中的preproccessing库。
在这里插入图片描述
3.特征选择

使用的是sklearn中的feature_selection库。
在这里插入图片描述
4.降维
分别使用decomposition库的PCA类和lda库的LDA类
在这里插入图片描述
还有一些相关网站:
信贷案例数据分析——python
来自 https://zhuanlan.zhihu.com/p/78647447
文章发布于2019.08.19

坚持,坚持,坚持就是胜利,不抛弃,不放弃。
你现在所碰到的一些问题在现在的你眼中看起来可能很难很大,但是过了几年再回过头来看的时候就会发现其实也能挺过去不是,所以,你肯定能处理好现在碰到的这些问题,并且一直向前,一直向前。
你要学习,你要学习,你要学习【日常催眠…】
在这里插入图片描述

【金融风控】贷款申请欺诈检测:逻辑回归算法的实现方法和案例-附python代码 通过训练一个逻辑回归模型,我们可以对每个贷款申请人的信用评分、收入、工作状态、贷款记录等进行评估,预测其是否有欺诈风险。贷款欺诈检测模型的目的是基于申请人的个人信息、信用记录等多维特征,对申请的真实性进行预测,并减少金融机构的损失。为了构建一个有效的贷款欺诈检测模型,首先我们需要从贷款申请人的数据中提取出一系列有意义的特征。我们首先模拟了一个包含10个样本的数据集,其中包括用户的年龄、收入、信用评分、贷款金额、工作状态等多个特征。:如果预测的欺诈概率较高,银行将触发进一步的人工审核。 阅读详情

相关推荐

【Ryo】Python:随机森林及参数优化——基于Kaggle的实战详解

机器学习在目前数字金融领域具有重要的地位,因此学习各类ML方法对于解决金融识别、信用评估、政策判断有很大的帮助作用。本文是我偶然间发现Kaggle上最新的一个dataset,基于此贷款数据loandata进行了相关的Python操作,利用随机森林的集成方法解决金融政策判断的问题,同时进行了调参优化(无手撕推导 非算法)。 研究内容 软件 日期 机器学习;随机森林;调参 Python3 2021年7月25日 △△△△△本文为个人项目练习,仅供参考,如有不足欢迎讨论 △△△△△ 一.

ryo_ryo的博客 7135

数据分享|Python信贷风控模型:Adaboost,XGBoost,SGD, SVC,随机森林, KNN预测信贷违约支付...

全文链接:http://tecdat.cn/?p=26184在此数据集(查看文末了解数据获取方式)中,我们必须预测信贷的违约支付,并找出哪些变量是违约支付的最强预测因子?以及不同人口统计学变量的类别,拖欠还款的概率如何变化?相关视频有25个变量:1. ID:每个客户的ID2. LIMIT_BAL:金额3. SEX:性别(1 =男,2 =女)4.教育程度:(1 =研究生,2 =本科,3 =高...

拓端研究室TRL 261

数学建模竞赛实战指南:从数据预处理到模型构建的72小时全流程解析

数学建模是将现实世界复杂问题抽象为数学问题,并通过算法求解的核心方法论。其基本原理在于通过合理的假设简化问题,运用数学语言描述变量关系,并借助编程工具实现模型求解。这一过程的技术价值在于培养系统性思维和解决实际工程问题的能力,广泛应用于金融风控、路径优化、工业控制等场景。在数据分析类建模任务中,特征工程是决定模型性能的关键环节,需要从原始数据中提取如交易稳定性、资金周转率等有效特征。随机森林等集成学习算法因其能处理非线性关系且提供特征重要性,常被用于构建稳健的分类模型。本文以信贷风险评估为例,深入剖析了从数

weixin_33847182的博客 374

金融风控项目实战-python 评分卡

金融风控项目实战-python 评分卡

toby001111的博客 6037

机器学习大作业全流程实战:从选题到报告的系统化指南

机器学习作为人工智能的核心技术,其本质是通过算法从数据中学习规律,以解决分类、回归等预测问题。其核心原理在于通过训练数据优化模型参数,使模型能够对未知数据做出准确推断。这项技术的价值在于将数据转化为可行动的洞察,广泛应用于金融风控、医疗诊断、推荐系统等场景。在工程实践中,特征工程和模型调参是提升性能的关键环节。特征工程通过数据清洗、编码、构造新特征等方式,将原始数据转化为对模型更友好的表示,直接决定了模型性能的上限。而模型调参则需要在过拟合与欠拟合之间寻找平衡,常借助交叉验证和贝叶斯优化等系统化方法。本文聚

congji3817的博客 403

Python构建信用卡客户风险识别模型

伴随着社会消费水平的提升,消费市场的繁荣促进了金融信贷行业的快速发展,以往由银行主导的信用卡业务不再是个体用户参与信贷活动的唯一选择,近几年由非金融银行机构推出的消费金融信贷方式受到了个人群体的亲睐。不幸的是,由于数据集保密问题,我们无法提供有关数据的原始功能和更多背景信息。基于收集到的数据,对每列进行缺失值统计,并没有存在缺失值,由于特征过多,存在很多与响应变量 无关的特征,因此需要进行特征提取。总体来看,随机森林的在测试集的正确率是0.73,其中正确预测了84个没有盗刷,18个发生盗刷的数据。

weixin_54707168的博客 2701

Python学习打卡第八天

标签编码适合有序类别,简单且内存占用少,但可能引入不必要的顺序关系。数值编码(如独热编码)适合无序类别,避免了顺序问题,但可能导致维度增加和计算复杂度上升。在选择编码方式时,需根据具体的应用场景和数据特征来决定使用哪种编码方法。在使用sklearn库中的fit_transform方法传入列名时,出现了报错,在查找了资料后发现了问题,原因是fit_transform方法期望的是一个二维数组或者DataFrame格式输入,而不是一维的数据。

qq_70124170的博客 955

Python实战:从零构建金融风控预测模型,解决数据不平衡与特征工程难题

机器学习中的分类问题是预测建模的核心任务之一,旨在根据输入特征将样本划分到预定义的类别中。其基本原理是通过算法学习历史数据中的模式,构建一个从特征到类别标签的映射函数。在金融科技领域,分类模型的技术价值尤为突出,它能够自动化、精准化地处理海量数据,识别复杂非线性关系,从而支持关键业务决策。典型的应用场景包括信用评分、欺诈检测和客户流失预警等。本文聚焦于金融信贷中的个贷违约预测,这是一个典型的二分类问题,但面临数据高度不平衡的挑战。文章深入探讨了如何使用SMOTE等过采样技术和调整类别权重来应对这一难题,并详

weixin_33824363的博客 316

数据建模竞赛实战指南:从Python工具链到金融风控模型应用

数据建模是数据科学领域的核心实践,它通过数学语言对现实问题进行抽象,并利用计算工具求解。其原理在于将模糊的业务需求转化为可量化的数学模型,涉及数据预处理、特征工程、模型选择与评估等关键步骤。这一过程的技术价值在于培养数据驱动的决策能力,将理论知识应用于解决实际问题。在金融科技、客户分析、风险预测等场景中,数据建模能有效支持智能决策。本文以金融风控为背景,探讨了如何运用Python、R语言及SARIMA等工具与模型,系统性地备战数据建模竞赛,并分享了从团队协作到模型优化的全流程实战经验。

weixin_33857679的博客 355

金融风控实战:基于随机森林与AdaBoost的车贷违约预测模型构建

在机器学习领域,集成学习通过组合多个基础模型来提升整体预测性能与泛化能力,其核心原理在于利用模型的多样性和互补性来降低过拟合风险。这一技术因其出色的稳定性和对复杂非线性关系的捕捉能力,在金融风控、医疗诊断等对模型鲁棒性要求极高的场景中展现出巨大价值。特别是在信贷审批环节,准确预测借款人违约风险能帮助金融机构在扩大服务范围的同时有效控制坏账损失。本文聚焦于金融风控中的车贷违约预测场景,深入对比了基于Bagging思想的随机森林与基于Boosting思想的AdaBoost这两大经典集成算法。通过详细的代码示例,

weixin_34232744的博客 377

LendingClub信贷风控建模实战:从数据清洗到可解释模型部署

信贷违约预测是金融风控的核心任务,其本质是利用借款人画像、负债结构、行为历史等多维特征,构建高区分度、强稳定性且符合监管要求的风险评分模型。关键技术包括FICO分非线性处理、DTI与循环信用使用率(revol_util)的业务衍生、时间序列上下文建模,以及XGBoost与逻辑回归双轨可解释方案。项目以LendingClub真实百万级贷款数据为底座,覆盖特征工程、模型调优、PSI漂移监控、SHAP归因解释及Flask API生产化全流程,特别强调时间泄漏规避、违约定义统一、类别权重平衡等工程细节,适用于银行、

weixin_33884611的博客 367

用机器学习来做一个信用评分卡

信用评分是一个衡量人们信誉度的数字表达。银行通常利用它作为一种支持信贷申请决策的方法。在这个博客中,我将讨论如何使用Python (pandas, Sklearn)开发一个标准的评分卡,这是最流行和最简单的信用评分形式,用来衡量客户的信用价值。 项目动机 如今,信誉度对每个人来说都是非常重要的,因为它被视为衡量一个人有多可靠的一个指标。在各种情况下,服务供应商首先需要评估客户的历史信用,然...

qq_36298178的博客 884

Python复现2020数学建模C题:从数据清洗到自动生成Word解答

数学建模竞赛中的C题往往以现实业务为背景,需要从数据清洗、特征工程到决策优化构建完整链路。Python凭借丰富的数据处理与建模库,成为快速实现这类问题的首选工具。通过统计分布理解数据形态,利用分箱和截断处理长尾异常,再以逻辑回归构建风险评分卡,结合整数规划进行贷款额度与利率的联合优化,最终自动化生成规范化Word文档。这一流程不仅适配2020年数学建模C题的中小微企业信贷风险场景,也能迁移到金融风控、信用评估等工程实践中,帮助分析人员将模型输出转化为可交付的决策方案。

weixin_33158887的博客 187

信用评分卡知道不?就是芝麻分那种东西,自己用机器学习来做一个吧

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”作者:Hongri Jia编译:ronghuaiyang前戏对于金融行业的同学来说,风控是目前机器学习落地较成熟...

AI公园 1429

德国信贷数据集GermanCredit

我们将会使用在信用评级建模中非常常用的德国信贷数据(German credit dataset)作为建模的数据集。德国信贷数据共有1000条数据,每条数据20个特征。这些特征包括AccountBalance(Checking账户余额)、Duration (Duration of Credit in month 借款期限)、Paymentstatus(还款记录)等。 其中比较难以理解的指标是Instalmentpercent,其代表着 Installment rate in percentage of disposable income (分期付款占可支配收入的百分比)。

Python实现的逻辑回归算法示例【附测试csv文件下载】

本文实例讲述了Python实现的逻辑回归算法。分享给大家供大家参考,具体如下: 使用python实现逻辑回归 Using Python to Implement Logistic Regression Algorithm 菜鸟写的逻辑回归,记录一下学习过程 代码: #encoding:utf-8 Author: njulpy Version: 1.0 Data: 2018/04/10 Project: Using Python to Implement LogisticRegression Algorithm import numpy as np import

数学建模竞赛实战:基于AI编程助手的高效工具链搭建与应用指南

在数据科学和算法竞赛领域,数学建模是连接理论知识与实际应用的关键桥梁。其核心原理在于通过数学语言抽象现实问题,并利用计算工具进行求解与验证。掌握高效的建模流程不仅能提升问题解决能力,对培养计算思维和工程实践素养也极具价值。随着人工智能辅助编程工具的普及,如Cursor、GitHub Copilot等AI代码生成器,参赛者得以将重复性编码工作自动化,从而更专注于模型创新与优化。本文聚焦于数学建模竞赛这一典型应用场景,深入探讨如何系统化地整合AI编程助手、模块化代码库与LaTeX写作环境,构建一套从数据预处理、

ciqiaofu0192的博客 562

DAGGER vs 传统模仿学习:为什么数据聚合能提升模型性能?

本文深入对比了DAGGER与传统模仿学习,揭示了传统方法因“分布不匹配”导致性能下降的根源。DAGGER通过动态的**数据聚合**机制,在智能体自身策略产生的状态分布上收集专家数据,从根本上解决了误差累积问题,从而显著提升了模型在实际部署中的鲁棒性和性能。

weixin_29170327的博客 235

数据挖掘在数学建模国赛中的核心流程与实战应用

数据挖掘是从海量、高维、复杂数据中自动提取有价值信息和知识的技术体系,其核心流程包括问题理解、数据预处理、建模评估与结果解释。在原理上,它通过聚类、分类、回归、关联规则等算法,揭示数据内在模式与关联关系。这项技术的价值在于,能够处理传统统计方法难以应对的非结构化、高维度数据,提升预测与洞察的准确性。在应用场景上,数据挖掘广泛应用于金融风控、商业智能、环境监测等领域。本文聚焦于数学建模竞赛,详细阐述了如何将数据挖掘的完整流程与国赛解题框架深度融合,并重点介绍了特征工程、模型评估及避免数据泄露等工程实践中的关键

weixin_30808693的博客 336

从零开始:如何在Windows上搭建Airsim仿真环境(避坑指南)

本文是一份详细的Windows平台AirSim仿真环境搭建指南。文章从硬件要求、Visual Studio与虚幻引擎安装开始,逐步讲解AirSim插件编译、UE项目配置,并重点介绍了通过WSL2连接PX4飞控软件实现软件在环仿真的完整流程。内容涵盖常见问题排查与性能优化,旨在帮助开发者避开常见陷阱,高效构建可用于无人机算法开发的虚拟测试平台。

earth的博客 307

终端里藏了个AI大神!DeepSeek‑TUI让你的命令行直接起飞

DeepSeek-TUI:终端AI编程神器 DeepSeek-TUI是一款专为开发者设计的终端AI编程工具,基于DeepSeek V4模型,提供100万Token超大上下文支持,适合处理复杂项目。其核心优势包括: 轻量高效:单二进制文件,无需依赖环境,支持SSH远程操作 智能交互:实时流式输出推理过程,支持三档模式(Plan/Agent/YOLO)灵活切换 强大功能:集成文件读写、Git管理、Shell执行等工具,支持一键回滚和持久会话 节省成本:智能压缩与缓存优化,显著降低Token消耗 适用于服务器开发

971
上一篇: 《数据化管理-洞悉零售及电子商务运营》-零售行业分析指标,电商行业分析指标等
下一篇: Linux环境下安装pytorch1.0.1(python3.7,cuda9.0)和pytorch0.4.1(python2.7,cuda9.0)
free youreself
博客等级 码龄8年 20粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值