信用评分

机器学习入门(九):非监督学习:5种聚类算法+2种评估模型 聚类算法(Clustering Algorithms)常用于进行非监督学习(unsupervised learning),即它处理的是没有事先标记分类的数据。一共介绍五种常见聚类算法: K-means Hierarchical GMM DBSCAN(基于密度的聚类算法) 基于网格Grid的聚类算法 距离公式 在了解聚类算法如何实现之前,需要先了解几种常见的距离计算公式,因为聚类算法会通过距离判断两... 阅读详情
信用评分类型和客户旅程
客户旅程的不同阶段

图1 整个客户之旅的信用评分
可以看出来整个过程中有三个判断语句,这三个阶段分别对应客户的三种评分:
- 申请评分(A卡)在决定是否接受或拒绝申请人时评估新申请人违约的风险。
- 行为评分(B卡)在做出有关账户管理的决策时,例如信用额度,超额管理,新产品等,以评估与现有客户相关的违约风险
- 催收评分(C卡)用于催收策略,用于评估催收中的顾客偿还债务的可能性。

信用风险评分卡

  多年来,实施信用评分的一些不同的建模技术已经发展。它们从参数或非参数,统计或机器学习到有监督或无监督算法。最近的技术包括使用数百或数千种不同模型的高度复杂的方法,各种验证框架和具有多种学习算法的集成技术以获得更好的准确性。
  尽管多样化,但还是有一种突出的建模技术 - 信用评分卡模型。通常称为标准评分卡,它基于逻辑回归作为基础模型。与其他建模技术相比,这种方法可以剔除很多盒子,使其成为从业者中最受欢迎的方法,并被近90%的评分卡开发人员使用。评分卡模型易于构建,理解和实施,并且执行起来很快。作为一种统计/机器学习混合模型,其预测准确度与其他更复杂的技术相当,其分数可直接用作概率估计,从而为基于风险的定价提供直接输入。这对符合巴塞尔协议II监管框架的贷款机构至关重要。评分卡非常直观且易于解释和证明,它在监管机构中被授权为一些国家的独家信用风险建模技术。
  评分卡模型结果由通常以表格形式显示的一组属性(客户特征)组成(图2)。在属性内,加权点(正面或负面)被分配给每个属性的范围值,这些点的总和等于最终的信用评分。
图2 标准评分卡格式


信用评分卡建模方法
一些需要思考的问题:
  • 我如何从区分“好”客户和“坏”客户? 他们是否有支付60,90或180天 - 逾期付款?
  • 当模型预测“坏”/“好”客户时,结果期应该多久?我应该确定那段时间的日期还是长度?
  • 谁应该被纳入分析? 我是否需要排除欺诈性客户或处于“好”和“坏”状态之间的人?
  • 区分“好”客户和“坏”客户的主要特征是什么?
  • ……
模型设计
一个好的模型应该记录以下内容:
  • 分析单位(如客户或产品水平)
  • 人口框架(例如,通过贷款申请人)和样本量
  • 操作性定义(例如,“坏”的定义)和建模假设(例如,排除欺诈性客户)
  • 观察的时间范围(例如过去两年的客户付款记录)和表现窗口,即“坏”定义所适用的时间范围
  • 数据来源和数据收集方法


    据准备和探索性数据分析

      数据准备是任何数据挖掘项目的关键方面,包括信用评分卡的开发。这是最具挑战性和耗时的阶段。 项目总时间中至少70%,有时多于90%专门用于此项活动。 它涉及数据收集,结合多个数据源,聚合,转换,数据清理,“切片和切块”,并查看数据的广度和深度,以获得清晰的理解并将数据量转换为数据质量,从而使我们可以自信地准备下一阶段 - 模型建设。
      数据准备过程从数据收集开始,通常称为ETL过程(Extract-Transform-Load)。 数据集成使用数据合并和串联组合不同的数据源。数据探索和数据清理是相互重复的步骤。 数据探索包括单变量和双变量分析,范围从单变量统计和频率分布到相关性,交叉列表和特征分析。在探索性数据分析(EDA)之后,对数据进行处理以提高质量。数据清理需要良好的业务和数据理解,才能以正确的方式解读数据。 这是一个反复的过程,旨在消除不规则行为,并酌情替换,修改或删除这些不规则行为。数据不干净的两个主要问题是缺失值和异常值; 这两者都会严重影响模型的准确性,因此必须细心干预。
      在决定如何处理缺失值之前,我们需要了解缺失数据的原因并理解缺失数据的分布情况,以便我们可以将其分类为:

  • 随机完整性缺失(MCAR);
  • 随机缺失(MAR);
  • 非随机性缺失(MNAR)。
      缺少数据处理通常假定MCAR和MAR,而NMAR更难以处理。下面的列表提供了按复杂程度排序的常见处理。
    图3 缺失数据处理
      在我们的数据中,异常值是另一种“野兽”,因为它们的存在会违背我们开发模型的统计假设。一旦确定,在应用任何处理之前理解异常值的原因很重要。例如,异常值可能是欺诈检测中有价值的信息来源;因此,用平均值或中值代替它们是一个不好的主意。
      应该使用单变量和多变量分析来分析异常值。对于检测,我们可以使用视觉方法,如直方图,箱形图或散点图和统计方法,如平均值和标准偏差,通过检查远距离聚类,小决策树叶节点,马氏距离,Cook’s D或Grubbs测试。对于什么应该被视为异常值的判断并不像识别缺失值那么简单。决定应基于特定标准,例如:任何超出±3标准偏差或±1.5IQR或第5-95百分位范围的值将被标记为异常值。
      离群值可用与缺失值类似的方式处理。还可以使用其他转换,包括:装箱,重量分配,转换为缺失值,对数变换以消除极值或Winsorization的影响。
      如上所述,数据清理可能涉及实现不同的统计和机器学习技术。尽管这些转换可能会创建更优质的评分卡模型,但实际操作必须考虑到,因为复杂的数据操作可能难以实施,成本高昂并且会降低模型处理性能。
      一旦数据清洗完毕,我们就可以做出更有创意的部分 - 数据转换。数据转换或特征工程是创建附加(假设)模型变量,并对其进行重要性测试。最常见的转换包括分箱和优化分箱,标准化,缩放,热编码,交互项,数学转换(从非线性转换为线性关系,从倾斜数据转换为正态分布数据)以及使用聚类和因子分析进行数据缩减。
      除了关于如何解决这一任务的一些一般性建议之外,数据科学家有责任建议将客户数据签名转化为强大信息人造物的最佳方法 - 挖掘视图。这可能是数据科学家角色中最具创造性和最具挑战性的方面,因为除了统计和分析技能之外,它还需要牢固掌握业务理解。通常,创建好模型的关键不在于具体建模技术的力量,而在于衍生变量的广度和深度,这些变量代表了对被审查现象更高水平的知识。
      下一节:变量选择。。
信用评分模型(R语言) 信用评分 2016年1月10日 本文详细的介绍了信用评分卡的开发流程,开发语言为R语言,python版本请见:一行代码搞定信用评分模型(python) python版实例和数据请见我的github:https://github.com/chengsong990020186/CreditScoreModel,如觉得实用就点下star,欢迎大家一起学习交流进步。 一、数据准备 1、 问题的准... 阅读详情

相关推荐

信用评分模型详解(下)之 信用评分系统搭建

信用评分问题中一般使用逻辑回归作为主要的模型。过程主要包括变量分箱、变量的WOE(证据权重)变换和变量选择(IV值)、逻辑回归估算。 一个完整的评分卡流程主要包括以下几个步骤: 数据准备 数据探索性分析 数据预处理,包括缺失值、异常值、数据切分 特征分箱: 特征筛选:IV值 单变量分析(IV)和多变量分析(两两相关性) 模型训练 评分卡构建 评分预测 1. 数据准备 数据源主要包含行内行外两...

SkullSky的博客 4653

实操客群分层|无监督训练与有监督评估,面试中这两大类风控模型最会被问到的问题

实操客群分层|无监督训练与有监督评估,面试中这两大类风控模型最会被问到的问题

weixin_45545159的博客 969

信用评分模型

逻辑回归模型:广泛应用在申请评分、行为评分、市场响应、客户流失等建模领域。 决策树模型:往往被用来做催收评分和客户盈利模型。 神经网络模型:用来防止申请和交易欺诈。 信用评分的主要目的是估计消费者的信用情况(正常或违约),具体做法是根据酷虎的历史信息资料,利用合适的数学统计模型,得到消费者违约的概率值。 客户的信息资料:人口统计学数据(性别、年龄、婚姻、收入、住房、居民、教育、种族、子女)

shuke1991的博客 5991

基于无监督学习-关联规则的风险评估模型:更精准的预测!

本研究旨在探索无监督学习和关联规则的潜力,以改进乳腺癌风险评估方法。无监督学习在无需标记的数据集中识别潜在模式方面具有优势,而关联规则分析则可发现变量之间的关联和依赖关系[1]。基于这些方法,我们提出了一种新的乳腺癌风险评估模型。该模型可以从大规模数据集中挖掘隐藏的关联规则和特征,为个体提供个性化的风险评估结果。

笑不语的博客 1229

【评分卡开发】信用评分模型构建流程

全面的信贷评分模型开发流程介绍

4558

机器学习实战——基于逻辑回归的信用评分卡模型

项目背景: 信用评分模型是保障银行和其他金融部门而设立的一种关于人身金融权限的划定模型。它是指根据客户的各种属性和行为数据,利用一定的信用评分模型,对客户进行信用评分,据此决定是否给予授信以及授信的额度和利率,从而识别和减少在金融交易中存在的交易风险。该模型将风险标准化,分数的存在使得审批者有了最简单易用的判断标准;整体的信贷资产质量也有了量化指标。 常用的信用评分卡有A卡,B卡,C卡具体如下: A卡(Application scorecard),申请评分卡。用于贷款审批前期对借款申...

weixin_43655375的博客 8951

无监督学习的评价指标(最全集合)

1.计算a(i) :样本i到同簇内其他样本的平均距离,代表样本i的簇内相似度。a(i)的值越小,说明样本i越应该被聚类到该簇,簇内相似度越高。2.计算b(i):样本i到其他簇内的所有样本的平均距离的最小值,代表样本i的簇间不相似度。b(i)值越大,说明样本i越不应该被聚类到其他簇。轮廓系数用于判断聚类结果的紧密度和分离度。轮廓系数综合了样本与其所属簇内的相似度以及最近的其他簇间的不相似度。轮廓系数的取值范围在[-1,1]之间,系数越大,说明聚类效果越好,簇内相似度越高,簇间差异性越大。

Zsusan7的博客 3684

《数据化风控—信用评分模型教程》第1章信用评分基础认识与应用,知识点总结

《数据化风控—信用评分模型教程》 第1章信用评分基础认识与应用 用一个小时把第一章看完了,然后感觉也是很有收获的。帮我总结和梳理了一些之前的内容,然后我捡我自己觉得重要的点和易忽略的点总结一下,希望对以后翻阅有帮助。 第一节 模型是基于历史数据对未来的预测,在遭遇经济变动,假设不再成立,模型就会受到影响,因此必须每月定期检测模型的准确性和偏离程度。 信用评分的分类方式 (一)、依发展母体区分 1、...

小猪课堂的博客 2366

信用评分卡模型

信贷风险是指借款人因偿还贷款或履行合同承诺而破产而产生损失的可能性。传统上,它与贷款人无法偿还所欠利息和本金、影响现金流和增加装配成本所产生的风险有关。很难准确预测谁会违约。尽管如此,适当的评估和风险管理可以通过减少损失的严重程度,帮助您显著降低此类信贷风险。个人信用风险当任何贷款人发放贷款(如抵押贷款、信用卡或其他类似贷款)时,存在借款人可能无法偿还贷款金额的可避免风险。此外,如果一家公司向客户提供此类信贷,客户也会面临同样的风险,即客户不会偿还。

. 5360

Winsorizing data:这个函数执行一个简单的数据winsorization-matlab开发

Winsorizing 或 Winsorization 是统计数据的转换限制统计数据中的极值以减少影响可能是虚假的异常值。 它以工程师出身的生物统计学家命名查尔斯·温莎 (1895–1951)。 效果和剪辑一样信号处理。 许多统计数据的分布可能很重受异常值影响。 一个典型的策略是将所有异常值设置为数据的指定百分位数; 例如,90% 的 Winsorisation 将查看第 5 个百分位数以下的所有数据设置为第 5 个百分位数,以及数据高于第 95 个百分点设置为第 95 个百分点。 温莎估计量通常比他们更标准的离群值更稳健形式,尽管有其他选择,例如修剪,可以达到类似的效果。 请注意,Winsorizing 不等同于简单地排除数据,这是一个更简单的过程,称为修剪。 在修整估计器中,极值被丢弃; 在一个 Winsorized estimator,极值被某些百分位数代替(修整的最小值和最大值)

大数据无监督特征学习的深度计算模型

关于大数据的分析,采用深度学习模型进行相关阐述,具有一定参考价值

干货 | 基于 Python 的信用评分模型实战!

来源 | 知乎作者 |Carl文章链接 |https://zhuanlan.zhihu.com/p/35284849信用评分模型可用“四张卡”来表示,分别是 A卡(Applica...

SeizeeveryDay的博客 3490

Ubuntu系统下搭建QtCreator开发环境详细过程(Qt简介;Linux下安装QtCreator;Ubuntu安装后闪退蓝屏的解决方法)

Qt 是一个跨平台的 C++开发库。主要用来开发图形用户界面 (Graphical User Interface,简称 GUI) 程序。Qt 支持的操作系统有很多,例如通用操作系统 Windows、Linux、Unix、智能手机系统Android、ios、WinPhone, 嵌入式系统 QNX、VxWorks 等。

分享学习成长历程,Winter is coming! 8545

基于 Python 的信用评分模型开发-附数据和代码

基于 Python 的信用评分模型开发-附数据和代码

fulk6667g78o8的专栏 9601

Inside NAND Flash Memories.中文版. Chatper 2 [2.1-2.2.1]

2.1 Introduction 半导体存储器分类: RAM:Random Access Memories--掉电丢失 ROM:Read Only Memories--只读,出厂时写好;掉电不丢失;不可更改。 NVM:Non-Volatile Memories--电可擦除/写入,并且掉电不丢失。第一类产品为EPROM memory (Erasable Programmable Read...

xuqikang的专栏 3606

abaqus 6.13安装(ubuntu 16.04LTS)

1。从iso将文件拷贝出来 2。chmod 777 -R ./* 给文件权限 3。sudo /home/xx/A/setup 4。安装licenseserver 5。拷贝lic,log文件 6。打开license sudo ./lmgrd -c path 7. 27011@xx or 27011@localhost ...

a1099313374的博客 1950

什么是信用评分分析?

我是Toby,最近正在原创????「python风控模型_评分卡」系列话题,欢迎订阅。最后给大家分享100G免费资料领取,包括python入门,数据分析,包括数据分析、统计学、数据挖掘、机器学习等知识。在公众号「python风控模型」里回复关键字:学习资料,就可免费领取。信用评分分析是不同公司评估个人或公司信用评分以帮助确定实体的信誉度的过程。信用评分很重要,因为它考虑了信用的使用次数以及偿还的效率。概括信用评分分析是指审查个人(或公司)借贷历史以及他们偿还资金的效率的过程。信用评分对贷方很重要,因为它们揭

fulk6667g78o8的专栏 1892

手把手教你调试RTL8201F:从芯片手册解读到LWIP驱动移植

本文详细解析了RTL8201F PHY芯片的开发流程,从寄存器配置到LWIP驱动移植,重点介绍了RMII模式下的特殊配置要点和调试技巧。通过实战案例和高级调试方法,帮助工程师解决网络性能问题,实现与FreeRTOS+LWIP协议栈的稳定集成。

ik678901234的博客 972

信用评分及其应用_最佳免费信用评分应用

信用评分及其应用Your credit score determines the interest rate that lenders charge you for debt (and whether you can secure a loan at all). That means your credit score affects everything major you buy—your c...

cuma1988的博客 2563

商品标签识别系统:基于YOLO系列的深度学习实现

随着零售行业的快速发展和自动化需求的增长,商品标签识别技术变得越来越重要。本文详细介绍了一个完整的商品标签识别系统,该系统基于YOLO系列目标检测算法(包括YOLOv5、YOLOv8和YOLOv10),采用PySide6构建用户界面,并提供完整的训练代码和数据集处理方案。该系统能够准确识别商品标签中的关键信息,如价格、条形码、生产日期等,为零售自动化、库存管理和智能结算提供技术支持。

YOLO 348

STM32+ESP8266+MQTT协议连接阿里云物联网平台

一、环境介绍 单片机采用:STM32F103C8T6 上网方式:采用ESP8266,也可以使用其他设备代替,只要支持TCP协议即可。比如:GSM模块、有线网卡等。 开发软件:keil5 二、实现功能 通过阿里云物联网服务器实现设备数据远程上传、下发,实现数据交互。 在当前使用的开发板上有4盏LED灯、一个蜂鸣器、4个按键。 三、阿里云物联网服务器创建步骤 说明:如果没有账号的话,先点击网页右上角,注册一个账号,并完成实名认证再继续下一步。 产品名称根据自己情况填...

6万+

信用评分分卡简介

信用评分分卡简介introduction of credit score card

fulk6667g78o8的专栏 7552

大数据运营可视化:Tableau+PowerBI数据看板搭建教程

当企业数据量从“GB级”跃升到“TB级”,运营人员面临的最大挑战不再是“如何收集数据”,而是“如何让数据说话”。数据看板作为“运营指挥中心的仪表盘”,能将零散的用户行为、业务指标、流量趋势浓缩成可快速解读的视觉语言。本文结合Tableau(自由探索的“数据瑞士军刀”)与PowerBI(微软生态的“组合家具”)两大工具,从需求分析→数据准备→指标设计→视图搭建→ dashboard 组合,一步步教你搭建符合业务逻辑的运营看板。

AI智能探索者的博客 1362
上一篇: Hadoop Hive sql语法详解
下一篇: R语言数据重塑sapply、ddply
Codensation
博客等级 码龄10年 3粉丝 8原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值