【金融风控建模系列】基础篇

风控建模一、初步认识风控 风控知识简单介绍,规则,人工智能进行风控建模。 阅读详情

第一章 风控建模三要素



前言

自从进入智能手机时代,伴随人们生活质量的提升,消费需求也越来越大。消费不再局限于线下,取而代之的线上消费慢慢成为主流…
交易转移到线上,风险就不可避免。最典型的就是信用卡消费,每个人会根据自己的“表现”获得一个额度,人们只能在这个额度下进行消费,借款人需在截止日期之前把钱还上,否则将面临失信问题。这在建模(系列文章中的风控建模均只局限于金融领域)中就是常说的“坏客户”。
那我们为什么要进行风控建模?如果出现坏客户,之后不借给他不就可以了。但请想象一下,现在出现一群没有还款能力的人,他们借了你家银行一大笔钱,最后都还不上…所以,风控建模的目的之一就是不借给这些人钱。
本章我会解释风控模型的三大基本要素。


一、数据

从数据体量看,一个有效果的风控模型至少需要用上千级别的数据量,且随特征数量逐步上升。从数据形式看,均是表格型数据。最常用的是csv格式的数据,相比于xlsx格式,csv占用的空间小的多。
建模用到的数据有一个很明显的特点,就是坏样本会远少于好样本。挑选的时候,需要尽可能保证坏样本总量大于500。

样本示例


其中,event_name:数据所在客群
month:数据所在月份
all_cnt:数据量
catch_cnt:y标签不为空的有效数据量
catch_rate:有效数据量占比
bad_cnt:y为1(坏样本)的数量
bad_rate:y为1(坏样本)的占比,也称坏账率
这是其中一种查看数据基本信息的方式。
观察该数据不难发现,每个月的样本量都超过10000,坏账量都超过1000,故他们都可以单独作为样本。另外,如果相邻月份具有相似坏账率,可以考虑合并。

二、特征

特征可以从很多维度进行分类。
第一步,我们先把特征分为基本特征和待入模特征。基本特征不参与特征筛选,比如id,姓名,手机号,月份等,这类信息用作标识数据;待入模特征参与特征筛选,它反映用户的表现或其他能影响信用分的基本信息,比如收入,学历,最近一次是否还款,在其他机构的打分等。

基本特征和待入模特征

基本特征
在这里插入图片描述
sign_no:唯一标识符。
event_name:数据所在客群,用其他编码方式读来解决乱码的现象。

待入模特征
在这里插入图片描述
score_1-score_9:特征已进行脱敏,这里大概率是在其他机构的打分。

第二步,我们再把待入模特征分为非入模特征和入模特征。常见的筛选依据包括iv(信息价值),empty(缺失率),corr(特征相关性),PSI(稳定性)。根据这些筛选指标把合格的特征筛选出来,并最终放入模型。

入模特征

在这里插入图片描述
这里用empty,iv,corr来筛选特征,不同阈值,筛选出来的特征可能会有差异。

三、模型

模型的输入是Dataframe格式的数据,数据中的列只包括入模特征+y标签列。
模型的输出是模型文件,常用的库pickle输出的为.dat后缀的模型文件。

代码示例

    # 训练模型
    xgb_clf = xgb.XGBClassifier(**bayes_params).fit(train_df.drop(columns=target, axis=1), train_df[target],
                                                    eval_metric='auc')
    with open(xgb_clf_path, 'wb') as f:
        pickle.dump(xgb_clf, f)
        print('模型已导出')
    f.close()

xgb是本次选用的算法,之后章节会重点讲解该算法。
bayes_params是模型参数,由贝叶斯调参而得。
train_df是训练样本。

章节总结

以上就是建模三要素,也是建模的核心部分。所有行为都应该围绕核心部分展开,包括数据清洗,数据分析,特征筛选,参数优化等。
下一章开始我会深入讲解数据样本是如何挑选的。”数据决定模型上限,算法决定模型下限“,与各位建模人共勉。

智能风控建模全流程--看这篇就够了 信贷风控是数据挖掘算法最成功的应用之一,这在于金融信贷行业的数据量很充足,需求场景清晰及丰富。信贷风控简单来说就是判断一个人借了钱后面(如下个月的还款日)会不会按期还钱。更专业来说,信贷风控是还款能力及还款意愿的...... 阅读详情

相关推荐

【金融风控项目-06】:风控建模流程

介绍风控业务建模的基本流程

YIAN爱学习的博客 2657

银行风控建模

好坏样本的定义需要根据实际的业务需求进行界定,而不是存在逾期就界定为坏样本(由于收益与风险的正比关系,银行为了找到平衡,不会认为所有发生过逾期的客户都是坏客户,并且“适当”的逾期不仅不会带来损失,反而带来了可观的逾期利息收入),所以对于银行来说,他所关注的坏客户是坏到某一程度,也就是逾期等级较高且不还款的客户。Vintage分析(账龄分析)用于确定合适的表现期,即确定有多久表现期的客户能纳入模型。(随着账龄的变化,贷款逾期的变化情况,贷款逾期趋于稳定后,则可作为表现期,比如经过6个月);

SQL__Learning的博客 8754

一文梳理金融风控建模全流程(Python)

信贷风控是数据挖掘算法最成功的应用之一,这在于金融信贷行业的数据量很充足,需求场景清晰及丰富。信贷风控简单来说就是判断一个人借了钱后面(如下个月的还款日)会不会按期还钱。更专业来说,信贷风控是还款能力及还款意愿的综合考量,根据这预先的判断为信任依据进行放贷,以此大大提高了金融业务效率。与其他机器学习的工业场景不同,金融是极其厌恶风险的领域,其特殊性在于非常侧重模型的解释性及稳定性。业界通常的做法是基于挖掘多维度的特征建立一套可解释及效果稳定的规则及风控模型对每笔订单/用户/行为做出判断决策。

2301_81372374的博客 1557

风控知识点一:常用模型介绍

一. 算法 逻辑回归 决策树 集成学习(随机森林,Adaboost,GBDT,XGBOOST,LightGbm) 二. 特征工程 三. 模型评估与优化 一. 算法 1. 逻辑回归 Q1.1 : 逻辑回归的优缺点,在金融领域相比其他算法有什么优势,局限性在哪? 1)优点: 实现简单,速度快,占用内存小,可在短时间内迭代多个版本的模型。 模型的可解释性非常好,可以直接看到各个特征对模型结果的影响,可解释性在金融领域非常重要,所以在目前业界大部分使用的仍是逻辑回归模型。 模型客群变化...

xiaozhijiayou的博客 4673

vintage分析 风控建模系列 01

vintage分析 风控建模系列 01 在工作中发现,目前没有一个很好的系列帖子对风控建模中的各项细节做讲解,本人为一个金融科技公司的风控算法建模师,希望在此将风控建模的知识成体系、有深度、易吸收地分享给大家 vintage分析价值 在一场完整的风控建模中,除了初始的探索性分析,vintage应该是很重要的一步了,这一部分工作直接决定了之后建模的质量。 在信贷业务开展的过程中,由于业务发展迅速,信...

weixin_44239904的博客 7165

阿里云天池大数据长期赛:金融风控-贷款违约预测(含代码)

本次比赛让自己在大数据的处理流程上有了更明确的认知,从数据清洗、特征工程、数据建模,每一个过程都能学到很多经验和知识,值得去历练。

weixin_46685991的博客 1万+

金融风控建模教学资源大全

金融风控建模教学资源大全

fulk6667g78o8的专栏 1327

零基础入门金融风控-贷款违约预测

赛题理解 赛题以金融风控中的个人信贷为背景,要求选手根据贷款申请人的数据信息预测其是否有违约的可能,以此判断是否通过此项贷款,这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中的一些业务背景,解决实际问题,帮助竞赛新人进行自我练习、自我提高。 train.csv数据说明: id 为贷款清单分配的唯一信用证标识 loanAmnt 贷款金额 term 贷款期限(year) interestRate 贷款利率 installment 分期付款金额 grade 贷款等级 subGrade 贷款等级之子

J_8023的博客 1923

金融风控实战——金融风控与反欺诈业务详解

金融风控介绍 最开始的信贷风控是怎么做的? 人审 吃业务经验 不能大批量处理,效率低下 不适用于移动互联网时代的金融场景 建模的概念 建模就是构造一个数学公式,能将我们手上有的数据输入进去,通过计算得到一些预测出来的结果。比如大家初中/高中学习的线性回归,就是最简单的建模过程。 风控模型最原始的思路就是输入一个用户的信息,得到这个人是 “会还钱” 还是 “不会还钱”。这就是个二分类问题。 而评分卡模型其实就是希望能将一系列的个人信息输入模型,然后得到一个用户的还款概率。概率越大,评分越高,.

Grateful_Dead424的博客 5084

Datawhale零基础入门金融风控——贷款违约预测(Task 4 建模与调参)

Datawhale零基础入门金融风控——贷款违约预测(Task 4 建模与调参) 学习目标: 1、学习在金融分控领域常用的机器学习模型 2、学习机器学习模型的建模过程与调参流程 3、完成相应学习打卡任务 学习内容: 1、逻辑回归模型 2、树模型 3、集成模型 4、模型调参 学习记录: 导入包及相关设置: import pandas as pd import numpy as np import warnings import os import seaborn as sns import matplot

qq_45933062的博客 588

风控建模 python 知乎_风控建模基本要求及面试问题小结

(本文是写给风控入门同学的建议!)一 准备工作根据核心职业CD法则,找工作前,你得先清楚自己有什么,自己要什么;面试单位有什么,面试单位要什么。就笔者近一年的学习及工作经验总结而言:科班同学,最好直接从统计分析、应用统计角度入手,从事金融、生物、医药等领域里的数据分析或数据挖掘相关工作;非科班转行来的,建议直接做金融,需要的专业知识不多,行业知识也易懂,而且信用中国还有很长的路要走,在这个领域扎根...

weixin_39894914的博客 1270

金融风控建模实战教学资源大全(硬核收藏)

金融风控建模实战教学资源大全(硬核收藏)

toby001111的博客 1359

python金融风控评分卡模型

python金融风控评分卡模型和数据分析微专业课(博主录制): [ http://dwz.date/b9vv ](https://study.163.com/series/1202875601.htm?share=2&shareId=400000000398149) ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200824105327895.png?x-oss- process=image/watermark,type_ZmFuZ3poZW5naGVpdGk

weixin_51463905的博客 756

机器学习算法原理系列篇1:金融风控中的机器学习

持续更新的订阅号,更多的内容请关注订阅: 我们将采用倒叙的手法来讲诉机器写学习原理和应用这个故事。 首先我们简单描述一个机器学习常用的领域:金融风控。 金融风控流程与重点 互联网金融公司,其风控流程因为业务不同而各有所不同。而业务类型,如果按照借款用途来划分,有消费贷款,企业贷款,供应链贷款,融资租赁等。 也可以按照担保类型,则可以分为一般信用类,消费场景类,车辆抵押类,房产抵押类,第三方担...

《人工智能原理与实践》作者 9331

彩票预测的可能性与算法分析

彩票作为一种以随机数为基础的赌博形式,吸引了大量希望一夜暴富的参与者。尽管许多人希望通过某种方式预测彩票结果,以增加中奖几率,但彩票预测的可能性依然是一个充满争议和误解的话题。本文将探讨彩票是否能够预测的理论依据,分析可能的预测算法,并解释这些算法为何在实际应用中难以奏效。

m0_38012434的博客 2万+

STM32串口DMA双缓冲机制实战:提升数据传输效率的终极方案

本文深入解析了STM32串口DMA双缓冲机制的核心原理与实战配置。通过对比传统中断方式,阐述了双缓冲如何实现数据接收与处理的“无缝接力”,从而在工业传感器数据采集等高负载场景下,将CPU占用率降至极低水平并彻底避免数据丢失。文章提供了基于标准外设库的详细配置步骤、中断处理逻辑及性能实测数据,是提升嵌入式系统串口通信效率和可靠性的终极方案。

weixin_29192365的博客 80

【金融风控建模系列】特征篇(一)

本部分将介绍如何获取合适的多客群样本。这里需要先解答一个问题,为什么还需要做多客群的融合,一个单客群如果表现很好,是否可以直接应用?答案是:可以,但是我们回到挑选样本的初衷,再思考一下。实际场景中,一个成熟的风控模型要尽可能预测多个情况,基于客群的复杂性及不稳定性,任何模型不可能可以维持很久的时间,必须及时适应近期数据。若数据由尽可能多的客群组成,则更可能会覆盖多种情况,模型也更可能保持稳定。

ANoway的博客 1539

如何构建高质量的 QA 问答知识库

NLP 技术落地最普遍的场景就是智能客服,如阿里的”小蜜“,京东的“JIMI”等等。NLP 技术也广泛应用于搜索系统。无论是“智能客服”,还是“搜索系统”,构建的前提是拥有“高质量的QA知识库”。今天聊聊“如何构建高质量QA知识库。”。 历史对话数据分布分析 基于公司现有系统积累的大规模对话文本数据,需要对文本数据进行归类处理,分析每个部分数据的占比,挖掘出有价值的文本通过 NLP 相关技术进行商业价值转化。下文以医疗领域来举例说明,通过输入对象,可以将文本分为客服输入和用户输入两部分。挖掘相关问题,主要从

Jiassheng的博客 2154

【金融风控建模系列】数据篇(二)

第二章第一部分围绕数据的存取过程展开,介绍了如何利用python从数据库中抽取数据,并按照客群进行分类。本章是数据章节的第二部分,该部分将介绍如何从原始数据中找出适合建模的数据。

ANoway的博客 1329

沈阳计算机研究所复试,沈阳计算所复试试题附答案.doc

沈阳计算所复试试题附答案目录数据结构1200612007220085200914操作系统16200616200718200818200919组成原理20200620200720200821200921经典算法22数据结构2006数据结构部分(共25分,第1题10分,第2题15分)在(下图)所示的有向图中:v1 v2v4 ...

weixin_42511053的博客 864

高熵合金AlCoCrFeNi/金刚石摩擦案例代码

本文介绍金刚石与高熵合金AlCoCrFeNi摩擦的案例。 在之前的文章中,介绍过使用fix indent命令实现虚拟球的摩擦,本文介绍使用金刚石实体球实现高熵合金摩擦的方法。 主要的模拟过程如下: (1)基体建模 建使用原子替换法获得高熵合金初始模型,升温到3000K驰豫后,冷却至300K,获得平衡组织。 (2)摩擦球建模 在高熵合金平衡组织的模型中添加金刚石摩擦球,使用change_box命令扩大box尺寸,添加金刚石摩擦球,并设置混合力场。 (3)摩擦过程 摩擦球下压一定深度后,沿y方向进行摩擦,摩擦

lammps_jiayou的博客 2900

金融风控建模全流程(Python,收藏)

金融风控建模全流程(Python),机器学习论文参考案例:www.mlpaper.cn/ 商务建模合作邮箱:231469242@qq.com

fulk6667g78o8的专栏 3910

手把手教你学simulink实例--基于Simulink的储能系统性能评估与仿真

储能系统是现代能源体系中的关键组成部分,广泛应用于可再生能源并网、电网调峰调频、电力质量改善以及电动汽车充电等领域。为了提高储能系统的运行效率和可靠性,对其性能进行准确评估至关重要。基于MATLAB/Simulink平台,可以构建储能系统的动态模型,并通过仿真分析其在不同工况下的性能表现。本项目旨在研究储能系统的建模方法、控制策略及其性能评估指标,并通过Simulink仿真验证系统的动态特性和稳态性能。

MHD0815的博客 196
上一篇: 【华为OD机试Python】广度优先遍历之树状结构查询
下一篇: 【金融风控建模系列】数据篇(一)
从那开始
博客等级 码龄7年 335粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

从那开始

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值