spark -- WOE简介与实现

于 2021-10-27 15:40:52 发布
阅读量668 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 基于大数据的机器学习原理与最佳实践 大数据机器学习实践探索 文章标签： spark WOE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangyaninglm/article/details/120786547

文章大纲

woe 简介

WOE全称是Weight of Evidence，即证据权重，也叫作自变量的一种编码

WOE的公式定义如下：

在这里插入图片描述
w o e = ∑ l o g G i / G t o t a l B i / B t o t a l woe=\sum{log\frac{G_i/G_{total}}{B_i/B_{total}}} woe=<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
spark 等频 等宽 分箱的一个小问题
shiter编写程序的艺术
01-05 2103
当分箱数比较多的时候，多于数据数量，箱子编号是从1 开始编号的，这是为什么呢？
python计算决策树误差_基于sklearn决策树的最优分箱与IV值计算-Python实现
weixin_39711914的博客
11-20 1160
一、问题描述： 在实际建模问题中，衍生加工许多特征变量之后，一般而言，首先需要对衍生变量的预测能力做一个快速、初步的评估。针对二分类问题，如信贷风险模型的好坏客户预测与评分，我们一般用IV值（Information Value）来衡量特征变量的预测能力，然后再筛选出IV值高于某个阈值的一篮子特征来进行下一步的建模工作。 为了计算某个变量的IV，首先需要对其进行分箱。如果...
WOE和IV理论及python实现
xudonglovedandan的博客
03-23 1287
WOE和IV理论 1.WOE WOE的全称是“Weight of Evidence”，即证据权重。WOE是对原始自变量的一种编码形式，计算公式如下： 其中，pyi是这个组中响应客户（风险模型中，对应的是违约客户，总之，指的是模型中预测变量取值为“是”或者说1的个体）占所有样本中所有响应客户的比例，pni是这个组中未响应客户占样本中所有未响应客户的比例，#yi是这个组中响应客户的数量，#ni是这个...
机器学习D10——WOE和IV编码
Dunkle.T的博客
04-02 3892
概述 WOE和IV通常是用在模型特征筛选的。IV和WOE能够帮助我们衡量什么变量应该进入模型，什么变量应该舍弃。用IV和WOE的值来进行判断，值越大就表示该特征的预测能力越强，则该特征应该加入到模型的训练中。 应用 1、变量筛选。我们需要选择重要的变量加入模型，预测强度就可以作为我们判断变量是否重要的一个依据。 2、指导变量离散化。在建模过程中，时常需要对连续变量进行离散化处理，如年龄分段。但变量的不同离散化结果（如：年龄分为［0-20］还是［0-15］）会对模型产生不同的影响。因此，可以根据指标反应的预
Spark调优大全
Mirror_w的博客
07-08 1292
1、spark调优之分配更多资源 /usr/local/spark/bin/spark-submit \ --class cn.spark.sparktest.core.WordCountCluster \ --num-executors 3 \配置executor的数量 --driver-memory 100m \配置driver的内存（影响不大） --executor-mem...
数据挖掘模型中的IV和WOE详解
热门推荐
一些杂七杂八的想法
03-02 25万+
1.IV的用途 IV的全称是Information Value，中文意思是信息价值，或者信息量。 我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？ 挑选入模变
spark调优详解
hgy0403的博客
08-19 1736
本文参考中华石杉老师的课程总结。后面一部分是总结了一下当spark必须要按列处理时的调优方式。 1、spark调优之分配更多资源 /usr/local/spark/bin/spark-submit \ --class cn.spark.sparktest.core.WordCountCluster \ --num-executors 3 \  配置executor的数量 --driver...
基于spark源码做ml的自定义功能开发
weixin_41008393的博客
06-19 700
spark的ml中已经封装了许多关于特征的处理方式: 极大方便了我们在做数据预处理时的使用。 但是这明显不够，在机器学习的领域中，还有许许多多的处理方式，这些都没有存在于feature包中。 那要如何去实现？ 比较简单的方式：spark ml本质上就是对dataframe的操作，可以在代码中处理df以实现该功能。 但是实际应用中发现，这样的方式并不好用，我们所做的处理，纯粹是对df的转换提取等操...
机器学习特征稳定性评估-分布式scala实现
泰格数据
05-31 1806
泰格： 士别三日当刮目相待，模型也一样，客流不断变化，特征的分布不断变化，模型的结果分布也会受到影响。所以在工业界中，对线上模型的监控是非常重要的。 概述 考察稳定性最好的办法就是抽取另一个时间窗口的数据（最好是最新时间的数据），通过模型在这些新数据上的表现来与之前在训练集和测试集上的表现进行比较，看模型的稳定性，其效果衰减幅度是否可以接受，如果条件许可，最好用几个不同时间窗口的数据分别进行观察比较。 公式 PSI = sum（（实际占比-预期占比）* ln（实际占比/...
R语言WOE与IV值计算函数
12-04
R语言的WOE和IV批量计算实现，运行代码后根据注释中的参数描述调用函数即可
数据科学家如何优雅的运行R在spark内存计算引擎上
jiabiao1602的专栏
08-14 1333
来源:http://www.ppvke.com/Blog/archives/46156 R在数据科学中超过10,000包，是主要的编程语言之一。R是开源软件，作为 统计学和计算机科学课程的一部分，在专科和本科大学广泛传授。R使用DateFrame作为API可以方便操控数据。R还有很强大的基础设施，让数据分析师可以很有效的解释数据。 使用R分析数据会被单机的可用内存量限制，并且R是单
使用Spark计算PV、UV
三分地
01-28 1万+
日志字段格式： id,ip,url,ref,cookie,time_stamp 把日志文件放到HDFS。仅取了1000行。 hadoop fs -put 1000_log hdfs://localhost:9000/user/root/input 计算PV。 scala> val textFile = sc.textFile("hdfs://localhost:9000/user/ro
信用评分的简单小结（ROC，IV，WOE）
10-15 7218
转自：http://chen.yi.bo.blog.163.com/blog/static/150621109201011115616880/ 由于专业的关系，我学习信用评分的时候往往最关注模型那一块，前段时间一直有很多困惑，这周认真地看了一篇文章，终于有一点点明白了，所以来简单地小结一下（这事儿不能说得太细），小结完了我得学习cURL去了。 最常见的用于信用评分的模型就是logist
python自动分箱，计算woe,iv
KIDxu的博客
03-18 2万+
笔者之前用R开发评分卡时，需要进行分箱计算woe及iv值，采用的R包是smbinning,它可以自动进行分箱。近期换用python开发，也想实现自动分箱功能，找到了一个woe包，地址https://pypi.org/project/woe/，可以直接 pip install woe安装。 由于此woe包官网介绍及给的例子不是很好理解，关于每个函数的使用也没有很详细的说明，经过一番仔细探究后以此...
WOE、VI及Python代码实现
wyl2289的博客
08-24 9712
IV的全称是Information Value，中文意思是信息价值，或者信息量。 我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？ 挑选入模变量过程是个比较复杂的过...
将原始数据进行WOE编码
lingan_Hong的博客
03-05 5026
在开发评分卡的时候，我们需要将原始数据替换成WOE编码，我给出的代码如下： def applyBinMap(X_data, bin_map, var): """ 将最优分箱的结果WOE值对原始数据进行编码 ------------------------------------------------ Params x: pandas Series ...
spark计算模型
军军的专栏
02-07 4785
spark计算模型 与Hadoop 不同，Spark 一开始就瞄准性能，将数据（包括部分中间数据）放在内存，在内存中计算。用户将重复利用的数据缓存到内存，提高下次的计算效率，因此Spark 尤其适合迭代型和交互型任务。Spark 需要大量的内存，但性能可随着机器数目呈多线性增长。本章将介绍Spark 的计算模型。 3.1　Spark 程序模型 下面通过一个经典的示例程序来初步了解Spark
评分卡模型剖析之一（woe、IV、ROC、信息熵）
huobanjishijian的专栏
06-06 1915
信用评分卡模型在国外是一种成熟的预测方法，尤其在信用风险评估以及金融风险控制领域更是得到了比较广泛的使用，其原理是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型。       本文重点介绍模型变量WOE以及IV原理，为表述方便，本文将模型目标标量为1记为违约用户，对于目标变量为0记为正常用户；则WOE(weight ofEvidence)其实就是
用pyspark 计算woe 并生成信用评分卡
最新发布
03-27
<think>好的，我现在需要帮助用户解决如何使用PySpark计算WOE值并生成信用评分卡的问题。首先，我得回顾一下相关的知识，确保自己理解正确。WOE，即证据权重，是信用评分模型中常用的一个指标，用于衡量某个分箱的违约与正常客户的比率相对于整体比率的情况。IV（信息价值）则是评估变量预测能力的指标。 用户的需求是使用PySpark来实现，这意味着我需要考虑分布式计算的环境，以及如何利用DataFrame API进行操作。PySpark处理大数据集的优势在于其分布式计算能力，所以代码需要高效且可扩展。 首先，我需要确定计算WOE和IV的步骤。通常的流程包括数据预处理、变量分箱、统计每个分箱的好坏客户数，然后计算WOE和IV。在PySpark中，可能需要用到窗口函数、分组聚合等操作。 接下来，分箱的问题。对于连续变量，通常需要进行分箱处理，比如等距分箱、等频分箱或基于决策树的分箱。在PySpark中，可以使用QuantileDiscretizer进行等频分箱，或者自定义UDF来处理。不过，分箱的方法可能会影响结果，需要用户根据具体情况选择。 然后是统计每个分箱的好坏客户数。这里需要用户的数据集中有目标变量，比如“label”，其中0代表好客户，1代表坏客户。通过groupBy分箱后的列，然后计算每个箱中的好坏客户数，可能需要使用agg函数结合sum和count。 计算WOE的公式是：WOE = ln((坏客户比例)/(好客户比例))。这里需要注意，如果有分箱中的坏客户或好客户数为0，会导致计算错误，可能需要添加平滑值，比如0.5，避免除以零的情况。 IV的计算是每个分箱的(坏客户比例 - 好客户比例) * WOE，然后将所有分箱的IV相加得到该变量的IV值。IV值可以帮助评估变量的预测能力，通常IV在0.02到0.1之间有弱预测力，0.1到0.3有中等，0.3以上强。 生成评分卡部分，通常需要将逻辑回归模型的系数转换为分数，这涉及到尺度因子和比例因子的选择。比如，设定分数每增加多少倍odds对应多少分，然后每个变量的分箱根据WOE和系数来分配分数。 现在，我需要将这些步骤转化为PySpark代码。例如，数据预处理可能需要处理缺失值，分箱使用QuantileDiscretizer，然后计算每个分箱的好坏客户数，接着计算WOE和IV。评分卡的生成则需要训练逻辑回归模型，提取系数，并根据公式转换分数。 在编写代码时，需要注意Spark的惰性求值特性，以及如何高效地处理数据分区。另外，可能需要用到SQL函数，如when、otherwise，以及窗口函数来计算总的好、坏客户数。 还需要考虑异常情况的处理，比如分箱后某些箱没有样本，或者好坏客户数为零的情况，这时候需要添加平滑处理，避免计算错误。例如，在计算好坏客户数时，可以加上一个小的常数，如0.5，确保比例不为零。 最后，生成评分卡可能需要将每个变量的分箱对应的分数进行汇总，通常以表格形式呈现，每个变量每个分箱对应一个分数，最后将所有变量的分数相加得到总分。这部分可能需要将模型系数和WOE值结合起来计算每个分箱的分数贡献。 总结一下，步骤大致如下： 1. 数据准备和预处理（处理缺失值、分箱）。 2. 统计每个分箱的好坏客户数。 3. 计算每个分箱的WOE和整个变量的IV。 4. 训练逻辑回归模型，获取系数。 5. 根据系数和WOE计算每个分箱的分数。 6. 生成评分卡表格。 现在需要将这些步骤转化为具体的PySpark代码，并确保代码的正确性和效率。同时，用户可能需要了解每个步骤的细节，比如如何选择分箱的数量，如何处理不同变量类型，如何评估IV值等。因此，在回答中需要详细说明每个步骤，并提供代码示例，同时指出可能的注意事项和优化点。</think>### 使用PySpark计算WOE及生成信用评分卡的方法 #### 一、WOE计算步骤 1. **数据准备** - 数据需包含目标变量（如`label`，0表示好客户，1表示坏客户） - 对连续变量进行分箱处理（如使用等频分箱） ```python from pyspark.ml.feature import QuantileDiscretizer discretizer = QuantileDiscretizer( numBuckets=5, inputCol="income", outputCol="income_bin" ) df = discretizer.fit(df).transform(df) ``` 2. **统计分箱分布** ```python from pyspark.sql import functions as F bin_stats = df.groupBy("income_bin").agg( F.sum("label").alias("bad_count"), (F.count("label") - F.sum("label")).alias("good_count") ) ``` 3. **计算WOE与IV** ```python total_bad = df.select(F.sum("label")).first()[0] total_good = df.count() - total_bad woe_iv = bin_stats.withColumn( "bad_distrib", F.col("bad_count") / total_bad + 0.5 # 平滑处理 ).withColumn( "good_distrib", F.col("good_count") / total_good + 0.5 ).withColumn( "WOE", F.log(F.col("bad_distrib") / F.col("good_distrib")) ).withColumn( "IV", (F.col("bad_distrib") - F.col("good_distrib")) * F.col("WOE") ) total_iv = woe_iv.groupBy().sum("IV").first()[0] ``` #### 二、信用评分卡生成 1. **训练逻辑回归模型** ```python from pyspark.ml.feature import VectorAssembler from pyspark.ml.classification import LogisticRegression assembler = VectorAssembler(inputCols=["income_bin"], outputCol="features") lr = LogisticRegression(featuresCol="features", labelCol="label") model = lr.fit(assembler.transform(df)) ``` 2. **分数转换公式** $$ \text{Score} = \frac{\text{Offset}}{n} + \frac{\text{Factor}}{n} \ln(2) \times (\sum{\beta_i \text{WOE}_i}) $$ ```python factor = 20 / np.log(2) # 每增加1倍odds，分数增加20分 offset = 600 - factor * np.log(30) # 基准分600对应odds=1/30 coefficient = model.coefficients[0] # 获取特征系数 ``` 3. **生成分箱得分表** ```python score_map = woe_iv.select( "income_bin", (F.round(coefficient * F.col("WOE") * factor, 2)).alias("score") ).toPandas().to_dict("records") ``` #### 三、完整代码示例 ```python # 计算单变量IV值示例 def calculate_iv(df, feature, target="label", n_bins=5): discretizer = QuantileDiscretizer( numBuckets=n_bins, inputCol=feature, outputCol=f"{feature}_bin" ) df_binned = discretizer.fit(df).transform(df) total_bad = df.select(F.sum(target)).first()[0] total_good = df.count() - total_bad stats = df_binned.groupBy(f"{feature}_bin").agg( F.sum(target).alias("bad"), (F.count(target) - F.sum(target)).alias("good") ) return stats.withColumn( "IV", ((F.col("bad") + 0.5) / total_bad - (F.col("good") + 0.5) / total_good) * F.log((F.col("bad") + 0.5) / total_bad / ((F.col("good") + 0.5) / total_good)) ).groupBy().sum("IV").first()[0] ``` #### 四、关键注意事项 1. **分箱优化**：可采用卡方分箱或最优IV值分箱提升预测能力[^1] 2. **特征筛选**：通常保留IV值>0.02的特征（弱预测水平阈值） 3. **分数校准**：需通过PSI指标监控评分卡的稳定性
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shiter

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值