2017.07.14回顾 ipython魔法命令 浮点数定义 GPL 为什么要WOE编码

数据预处理-分箱(Binning)和 WOE编码 介绍特征工程中的分箱操作和WOE编码算法及工程实现 阅读详情

1、一些小的工程改动

2、建表/增加字段,decimal(9,2)表示一共9位,小数是2位,int(2)不是代表两位数,仍然可以存储大数

3、Ipython的console中有一些魔法命令,以%开头,matplotlib就有一个魔法命令%matplotlib qt,后面的参数可以指定显示图像的GUI库,我本身没有pyqt库,我用pip instaall失败,但是用conda install pyqt成功,原因不明。另外还有一个奇怪的地方,我本想调用cmd环境下运行python的matplotlib自动跳出来的那个GUI,但是我没找到相应参数,而且我发现调用%matplotlib必须要安装pyqt,最后调用qt出现的界面和默认跳出来的几乎一模一样。

4、看了下不同的开源协议,GPL比较适合,后续更改代码也强制要求开源

5、要下班的时候有新同事问我,为什么做评分卡的时候要采用woe编码,我告诉他的原因是,评分卡本身就是离散化的形式,这个回答其实对应的问题是为什么要分箱,然后我另外一位同事说了下他的看法,我觉得挺有道理,看来我也有很多没有领悟的地方,他说了两点:(1)编码过后保证了单调性,比如本身连续变量在逾期率上是呈现一个U型,这时候拟合出来系数正和负都不能反映变量单变量时候的趋势,所以干脆WOE编码,这样变量值就是绝对单调的;(2)WOE使自变量有着相同的数量级,相当于说有着标准化的作用

6、做好了rolling variable

7、同事的iv算出来大于1,这个我真是很少见到,似乎某个地方存在问题吧?但是iv的范围到底是多大呢?

8、发布了自己的github给同事,下一步是把这个工具分享给更多人的使用,让这个开源项目发展壮大



风控建模常用指标——WOE/IV/COR/VIF/PSI总结以及实现代码 在金融领域,风险控制(风控)是维护金融稳定和安全的重要环节。随着大数据时代的到来,金融机构越来越依赖于数据驱动的风控模型来评估和量化风险。在构建这些模型时,一系列关键指标成为了衡量和解释模型性能的基石。其中,WOE(Weight of Evidence)、IV(Information Value)、COR(相关系数)、VIF(方差膨胀因子)和PSI(人口稳定性指数)等指标因其在模型建立和评估中的独特作用而备受重视。 阅读详情

相关推荐

ML之Scorecard:机器学习中特征工程之WOE编码(离散变量编码/有监督)的简介(两大功能/评分卡场景/意义)、计算公式(局部和全局的差异)、案例应用之详细攻略

​ DataScience:机器学习中特征工程之WOE编码(离散变量编码/有监督)的简介(两大功能/评分卡场景/意义)、计算公式(局部和全局的差异)、案例应用之详细攻略 目录 特征工程之WOE编码—离散变量编码(有监督) 特征工程之WOE编码—离散变量编码(有监督) 1、WOE编码的概述:两大功能(特征归一化/特征选择【寻找WOE值更大的特征】)、评分卡场景(WOE结合LoR模型绝配) 背景 提出问题:评分卡模型中,怎样对字段的每个分段进行评分呢?这个评分是怎么来的? 解决方案

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 4036

机器学习D10——WOE和IV编码

概述 WOE和IV通常是用在模型特征筛选的。IV和WOE能够帮助我们衡量什么变量应该进入模型,什么变量应该舍弃。用IV和WOE的值来进行判断,值越大就表示该特征的预测能力越强,则该特征应该加入到模型的训练中。 应用 1、变量筛选。我们需要选择重要的变量加入模型,预测强度就可以作为我们判断变量是否重要的一个依据。 2、指导变量离散化。在建模过程中,时常需要对连续变量进行离散化处理,如年龄分段。但变量的不同离散化结果(如:年龄分为[0-20]还是[0-15])会对模型产生不同的影响。因此,可以根据指标反应的预

Dunkle.T的博客 3978

matlab snr矩阵计算公式_基于MATLAB和Adams的悬置系统解耦计算方法对比

一、概述动力总成悬置系统主要有两个作用:一是固定和支撑动力总成,限制动力总成在各种工况下的位移量,防止与其它部件碰撞;二是隔振作用,将动力总成的振动尽可能少的传递到车身。悬置系统隔振性能的核心就是解决刚体模态的频率分配和振动耦合问题,简言之就是关注动力总成的刚体模态和解耦率。动力总成悬置系统的刚体模态频率和能量解耦分析,行业内的主流计算方法分两种:一是用MATLAB编程进行分析计算,二是...

weixin_33416900的博客 1449

逻辑回归中常用的概念: WOE、IV详解

xn中,那么,对于其中一个变量xi来说,其蕴含的信息越多,那么它对于判断A属于0还是1的贡献就越大,xi的信息价值就越大,xi的IV就越大,它就越应该进入到入模变量列表中。挑选入模变量过程比较复杂,需要考虑的因素很多,比如:变量的预测能力,变量之间的相关性,变量的简单性(容易生成和使用),变量的强壮性(不容易被绕过),变量在业务上的可解释性(被挑战时可以解释的通)等等。WOE越大,这种差异越大,这个分组里的样本坏样本可能性就越大,WOE越小,差异越小,这个分组里的坏样本可能性就越小。

厚积薄发的博客 7225

Python + Google AI 自动修复 Sonar Bug 实践

在工作中总会遇到种种不期而至的需求,比如前段时间突然要修复所有 Sonar Bug,涉及各种琐碎的代码风格问题,包括但不限于语法不规范、废弃注释等问题。这些项目都已经持续开发几年了,Sonar 上的问题层出不穷,各种问题已经累积到了上万个,手动修复不但费时费力,而且过程异常枯燥。

子洋 Blog 2415

从零开始:在Ubuntu 22.04上配置Isaac Gym Preview 3环境(含常见错误解决方案)

本文提供了在Ubuntu 22.04系统上从零开始配置Isaac Gym Preview 3环境的完整实战指南。内容涵盖NVIDIA驱动安装、Conda环境搭建、CUDA与PyTorch版本精准匹配、Isaac Gym核心安装与验证,并重点介绍了针对四足机器人等复杂系统的强化学习训练环境配置、常见错误解决方案及性能调优技巧,旨在帮助开发者高效部署这一高性能物理仿真平台。

weixin_29048775的博客 392

【特征工程】WOE编码(Weight of Evidence Encoding):信息权重编码方法详解及代码示例

Weight of Evidence Encoding(WOE编码)是一种用于二分类问题的编码方法,通过计算每个类别的证据权重来表示其与目标变量之间的关系。

WHYbeHERE的博客 3137

Win11如何更改用户文件夹名(完整流程- 已验证可行)

把C盘所有文件备份,如果不想备份,则选择创建一个C盘的系统还原点(能在后续把C盘玩崩之后恢复原状)

Y_Aryan的博客 5万+

WOE编码

WOE(Weight of Evidence)编码是一种常用于评分卡或风控模型中的特征编码方法,能够在保持线性模型可解释性的同时,帮助模型更好地捕捉特征与目标变量之间的关联。本文从 WOE 的概念、计算方式、应用场景、注意事项等方面进行了介绍。

彬彬侠的博客 1924

领域驱动新实践:COLA框架全解析——架构设计与实战案例解析

定义订单支付事件java代码解读复制代码} }Order定义Order类,继承并实现支付逻辑:java代码解读复制代码} }定义接口:java代码解读复制代码定义类,处理订单支付逻辑并持久化:java代码解读复制代码} }定义和处理订单支付事件:java代码解读复制代码} }java代码解读复制代码} }定义和接口及其实现:java代码解读复制代码java代码解读复制代码。

2401_89221445的博客 2662

JAVA进阶面试题:如何设计一个高并发系统?

如何设计一个高并发系统? 面试官心理分析 说实话,如果面试官问你这个题目,那么你必须要使出全身吃奶劲了。为啥?因为你没看到现在很多公司招聘的 JD 里都是说啥,有高并发就经验者优先。 如果你确实有真才实学,在互联网公司里干过高并发系统,那你确实拿 offer 基本如探囊取物,没啥问题。面试官也绝对不会这样来问你,否则他就是蠢。 假设你在某知名电商公司干过高并发系统,用户上亿,一天流量几十亿,高峰期并发量上万,甚至是十万。那么人家一定会仔细盘问你的系统架构,你们系统啥架构?怎么部署的?部署了多少台机器

uuop155的博客 1019

【机器学习-38】WOE编码

WOE编码(Weight of Evidence Encoding)是一种用于特征处理的技术,广泛应用于信贷评分、风险建模等领域,尤其是在将分类变量转化为数值特征时。WOE编码通过计算每个类别的“证据权重”来进行特征编码,能够有效地量化各个类别与目标变量之间的关系。通常用于替换类别特征的数值化处理,尤其适用于逻辑回归模型。WOE编码是一种非常有效的特征工程方法,特别适用于信用评分、风险分析等领域。

m0_69378371的博客 1071

2026工控高薪:C#上位机面试15题(含答案)

基础岗(10-15K):考察串口/Modbus/PLC通信基础;资深岗(20-30K):考察工业级优化(抗干扰/断线重连)、物联网(MQTT)、跨协议整合;架构岗(30K+):考察上位机架构设计、边缘计算、项目落地避坑。我整理了2026年近20场高薪岗位(月薪20K+)的面试高频题,筛选出15道核心题,每题标注“考察点+实战答案”——答案拒绝纯理论,全部结合车间现场、PLC通信、物联网落地等真实场景,帮你避开“背答案但不落地”的面试坑。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1280

特征编码在风控建模中的应用(上篇)—WOE是否可以提升集成算法效果?

序言: 在风控模型开流程中,使用的场景分别有A卡、B卡、C卡等模型,常规使用最多的就是逻辑回归算法。使用逻辑回归算法80%会使用的编码方式就是WOE编码,相信做模型的同学对这种编码方式非常熟悉。 做WOE的编码的好处,无需多言,比如可解释性强,对于极端值还不需做处理,但在除逻辑回归的其它场景中是否也能使用这种编码方式?另外模型场景中还有哪些其它的编码方式?还有WOE是否可以提升集成算法的效果?关于这些问题,本文,番茄风控给各位读者带来模型的编码方式汇总,且在集成算法中运用woe编码可以进一步提升模型的准确性

weixin_45545159的博客 2421

Apple Store 上架过包:iOS审核4.3被拒原因分析与解决修改方案

Apple Store 上架过包:iOS审核4.3被拒原因分析与解决修改方案

专业解决各种上架过包问题,专业团队专业处理 751

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

金融风控-->申请评分卡模型-->特征工程(特征分箱,WOE编码) 标签: 金融特征分箱-WOE编码 2017-07-16 21:26 4086人阅读 评论(2) 收藏 举报 分类: 金融风

金融风控-->申请评分卡模型-->特征工程(特征分箱,WOE编码) 标签: 金融特征分箱-WOE编码 2017-07-16 21:26 4086人阅读 评论(2) 收藏 举报 分类: 金融风控(6) 作者同类文章X 版权声明:本文为博主原创文章,未经博主允许不得转载。 这篇博文主要讲在申请评分卡

周红伟讲AI 1万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

数据挖掘模型中的IV和WOE详解

1.IV的用途 IV的全称是Information Value,中文意思是信息价值,或者信息量。 我们在用逻辑回归、决策树等模型方法构建分类模型时,经常需要对自变量进行筛选。比如我们有200个候选自变量,通常情况下,不会直接把200个变量直接放到模型中去进行拟合训练,而是会用一些方法,从这200个自变量中挑选一些出来,放进模型,形成入模变量列表。那么我们怎么去挑选入模变量呢? 挑选入模变

一些杂七杂八的想法 25万+

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

特征锦囊:金融风控里的WOE前的分箱一定要单调吗?

今日锦囊特征锦囊:金融风控里的WOE前的分箱一定要单调吗?今天我们来讲讲一个金融风控里的“常识点”,就是那种我们习以为常但若要讲出个所以然来比较困难的点,正如标题所言:WOE前的分箱一定...

Pysamlam的博客 3914

银行信用评分卡中的WOE在干什么?

woe全称叫Weight of Evidence,常用在风险评估、授信评分卡等领域。 IV全称是Information value,可通过woe加权求和得到,衡量自变量对应变量的预测能力。 虽然网上到处都是神经网络、xgboost的文章,但当下的建模过程中(至少在金融风控领域)并没有完全摆脱logistic模型,原因大致有以下几点: logistic模型客群变化的敏感度不如其他高复杂度模型,...

slamer的专栏 1万+

jupyter 自定义魔法指令(以连接MYSQL为例)

jupyter 自定义魔法指令(以连接MYSQL为例)1、效果展示2、目标代码3、模板简介4、嵌入模板5、是否生效5.1、使用%lsmagic查看自己编写的魔法指令是否注册成功:5.2、直接使用魔法指令查看是否注册成功:5.2.1、%lmysql5.2.2、%%cmysql5.2.3、%change_mysql_param以及%%change_mysql_param6、永久配置 1、效果展示 2、目标代码 为了让大家更好地理解,我以连接MYSQL为例,为大家进行展示魔法指令的整个过程。如果感兴趣的朋友需要

qq_40694671的博客 3051

Python中的魔法命令(持续补充)

Python提供了许多魔法命令,使得在IPython环境(eg:Jupyter 内核)中的操作更加得心应手。

Tikyon的博客 976

风控算法最常见的知识WOE讲解!

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习,不错过Datawhale干货作者:桔了个仔,南洋理工大学,Datawhale成员想起刚入门风控...

Datawhale 3524

风控评分卡模型原理与应用(三):WOE编码

WOE的全称是“Weight of Evidence”,即证据权重。WOE是对原始自变量的一种编码形式。它是逻辑回归模型输入变量取为某个组别时,对样本"偏向正样本"的信息贡献。要对一个变量进行WOE编码,需要首先把这个变量进行分箱(也叫离散化、分组处理等等,说的都是一个意思)。WOEi​lnpi0​pi1​​lnGi​/#GT​Bi​/#BT​​pi1​是第i箱中坏客户占所有坏客户的比例pi0​是第i。

Smilecoc的博客 534

信用卡评分总结

参考:https://github.com/yancy-yin/Credit-score-card/tree/master/Give_me_some_credit (数据也可从此下载)

Mark_Australia的博客 1251

python数据分析工具—Jupyter

开头的为单元命令,单元命令则必须出现在单元的第一行(而且不能有注释),对整个单元的代码进行处理。%%script :写bash、perl、javascript、js 等命令。: 加载指定路径下的python文件代码到当前单元格。%%writefile:将当前cell中内容写入文件中。: 测试单行代码单次执行的时间,并返回测试结果;开头的为行命令,行命令只对命令所在的行有效;: 显示当前命名空间中定义的详细变量信息;(4)%%latex:写Latex公式。: 列出当前命名空间中定义的变量。

m0_55196097的博客 6045

风控算法知识——WOE值的深度理解与应用

导语:WOE值的深度理解与应用看这一篇就够啦!!! 关注“金科应用研院”,回复“礼包” 领取风控资料合集 WOE是什么? WOE,全称是“Weight of Evidence”,翻译过来就是证据权重,是对于字符型变量的某个值或者是连续变量的某个分段下的好坏客户的比例的对数。 实际的应用会将原始变量对应的数据替换为应用WOE公式后的数据,也称作WOE编码或者WOE化。 WOE编码需要首先将这个变量分组处也就是分箱。一般选择使用均匀分箱,离散型数据分箱个数就是该数据的数据类别个数,连续型数据一般会使用6组,尽可

未来金科学院 9685
上一篇: 2017.07.13回顾 MIC
下一篇: 2017.07.17回顾
strwolf
博客等级 码龄18年 84粉丝 336原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值