第16篇：风控学习笔记-逾期指标、三方数据测试、客群画像

一、逾期指标
1.逾期指标的选择犹如精密仪器的参数校验

2.FPD7：前3个月违约风险的预测准确率78%，中长期预测衰减至43%；适用于小额高频的消费分期场景，但临时资金周转困难的客户可能会误判。

3.Mob2M2+：客户偿付能力的持续观察，长期风险预测的稳定性上升，但是早期风险的漏报率也高。
4.FPD7作为即时行为信号的捕捉，Mob3M2+作为偿付能力的持续验证
风险的本质就是进行持续探索和重新定义。

5.业务场景的适应性差异：构建分层预警机制是平衡两类指标的有效策略，FPD7作为初级预警信号触发贷后管理，mob3M2+作为二次确认，风险处置效率上升，误判成本下降。结合短期指标的灵敏性和中期指标的决策准确性。实现违约概率的时空分布的精确度量和多时间维度的信号融合。从单点预警到全量感知。

 

二、KS、AUC、PSI、LIFT风控评估指标
1.KS区分度
计算每个分箱区间累计好/坏客户数占比差的绝对值，得到KS；在所有分箱的KS中取最大值，得到该变量最终的KS值。

评估标准：
KS的取值范围是【0,1】，可以用小数或者%形式的表示，比如KS=0.3或者30%。通常来说，KS越大代表好坏客户的区分度越高。具体多少算高要看使用场景，就贷前/贷中/贷后的模型来看，KS也有不同的核量标准。
贷前A卡模型通常KS大于0.3就视为有较强的区分度了，但一般至少要求0.2以上，0.2以下不建议使用；贷中B卡模型的KS一般要求大于0.4以上；贷后C卡模型的KS一般要求大于0.5以上。如果是子模型或者单一维度模型，可以适当下降标准。
另外如果KS值高的离谱，比如贷前A卡模型高于50以上，需要怀疑模型是否存在过拟合或者数据泄露。

 

2.PSI稳定度

使用场景
PSI的实际分布和预期分布在不同的场景、不同类型下是不相同的。如果按照使用场景划分，有以下三个阶段：
在建模时：以训练样本作为预期分布，以测试集或者跨时间样本（OOT）作为实际分布。
灰度上线：以离线建模的样本作为预期分布，以灰度的陪跑样本作为实际分布。

正式上线：以上线后第一个月的样本作为预期分布，去除第一个月后的每月样本作为实际分布。
如果按照类型划分，有模型和入模变量两种
模型分数：对模型输出的概率结果或者分数结果进行PSI稳定性的检验，使用场景可以分为以上三种。

变量值：对入模变量进行PSI稳定性检验，使用场景同样为以上三种。

阈值变化
如果通过监控报表发现近期通过率在不断地升高。这种波动或者异常说明模型可能在衰减，结果在发生偏移。为了验证猜想，就需要计算模型逐月的PSI稳定性指标。

一般情况下，PSI稳定性指标的参考如下：

3.ROC曲线
真正率（TPR）、假正率（FPR）
ROC曲线基于TPR、FPR计算得到。
真正率（TPR）表示在总的坏客户中有多少被识别出来，越高越好。假正率（FPR）表示有多少的负样本被错误地预测为正样本，越少越好。
遍历所有的阈值，则TPR和FPR不断变化，相应的在ROC曲线图中也会沿着曲线滑动。

如何判断ROC曲线的好坏
FPR表示模型误杀的程度，而TPR表示模型抓坏的程度。我们希望的是误杀的越少越好，抓坏的越多越好。所以总结一下就是TPR越高，同时FPR越低（即ROC曲线越陡），那么模型的性能就越好。
ROC曲线可以无视样本不平衡

4.AUC曲线

AUC就是ROC曲线下的面积。如果我们连接对角线，它的面积正好是0.5。对角线的实际含义是：随机判断（相当于盲猜），正负样本覆盖率都是50%，表示随机效果。正常来说，ROC曲线越陡效果越好，所以理想值应该是1，一个正方形，而最差的随机判断都有0.5，所以一般AUC的值是介于0.5-1之间的。

AUC的一般判断标准
0.50-0.70：效果较低
0.70-0.85：效果一般
0.85-0.95：效果很好
0.95-1.00：效果非常好，但一般不太可能
 

 

三、三率三性三度 三方数据评估实战

引入新的数据源并非简单的过程，需要经过严谨的测试和评估，确保其能够真正提升风控效果。

1.三率三性三度
三率
覆盖率：已匹配数据样本数量占总样本数量的比例
缺失率：特征缺失值样本数量占总样本数量的比例
准确率：验证一致的样本数量占总样本数量的比例
三性：
相关性：特征之间的相关性，如皮尔逊或者斯皮尔曼相关系数
预测性：特征对目标变量的信息贡献度，如信息值（IV）
解释性：特征分布趋势与实际业务理解的匹配程度
三度
区分度：模型的区分能力指标，如KS值、AUC值等
重要度：特征在模型中的重要性，如决策树的特征重要性 
稳定度：特征在不同样本或时间段的分布稳定性，如PSI值

2.全面分析
覆盖率评估：高覆盖率说明数据产品对于银行的客户群体有较好的匹配度，大部分客户都能在该数据源中找到对应的信息。
缺失率评估：所有特征的缺失率均在2%以下，属于可接收范围。这表示数据质量较高，对后续分析影响较小。
准确率评估：接近80%的准确率说明黑名单特征与银行内部标记的坏账客户有一定的重合，具有一定的参考价值。
相关性分析：可能在一定程度上反映了客户的行为和信用状况。
预测性分析：对坏账标签的预测能力，对模型的贡献能力。
解释性分析：例如随着信用能力指数的增加，坏账率呈现下降的趋势，这符合业务逻辑，信用能力越强违约风险越低。
区分度分析：KS值对于好坏客户的区分能力。
重要度分析：利用决策树模型计算特征计算特征的重要性。
稳定度分析：数据在时序上是否存在漂移。

3.相关可能的建议
采纳黑名单特征：在风控策略中，重点考虑黑名单特征，可用于前置筛选或策略规则中。
构建综合模型：将连续特征与其他内部数据相结合，构建评分模型，提升对客户风险的全方位评估。
持续监控特征稳定性：定期计算特征的PSI值，监控数据分布的变化，及时调整风控策略。
注意合规与数据安全：在使用外部数据时，确保数据的合法合规性，保护客户隐私。

 

四、风控的先验和后验之争

1.先验和后验的定义
贝叶斯的先验概率和后验概率。
先验概率是根据以往经验和分析得到的概率，往往被作为由因求果问题中因出现的概率。后验概率是指考虑新的数据或证据后，根据这些数据或证据对先验概率进行的修正后得到的概率，它往往作为由果求因问题中的因出现的概率。
先验和后验，差异在于有效判断和行动的前后顺序。先验是指在失去发生前基于以往经验的判断，可以预防问题发生，如在做风控策略时，我们都觉得应该拦截逾期比较验证的客群，拦截后可以有效降低风险；后验是指在事情发生后，基于事情的结果反推事情的原因，可对先验形成有效的反哺，如在做风控时，基于历史数据学习到了跟过往经验不一致的结果，如结果合理且能够解释，则对先验进行修正。

2.风控中的先验和后验
在信贷风控过程中，若样本比较少，我们往往比较依赖先验知识做风控，这些先验知识即我们常说的风控经验或专家经验，但是随着样本的持续增加，则会依赖量化分析结果进行风控（属于后验范畴）
在基于量化分析结果进行分析时，会遇到以下两种情况：
（1）后验结果不在先验知识范围内且分析结果业务上能解释得通，则此时可以用来补充我们的先验知识。
（2）后验结果与先验知识相悖，该如何决策？

3.我们所处的时代，面对的客群是在不断变化的，早期积累的先验知识在之前的场景下可能是对的，但是在当下有可能是错的。我们做风控时需要动态地、辩证地持续学习业务知识并不断地更正我们的先验知识，这样才能做好风控。

1）如果基于量化方法进行分析时，发现某些指标跟风险相关性不高，但是基于先验知识看应该风险相关性比较高，此时应该相信数据结果，不盲目进行策略调整。
2）如果基于量化方法进行分析时，发现某些指标跟风险相关性高，但是基于先验知识看应该跟风险相关性较低，此时该怎么办呢？
金融信贷风控通常是比较保守的，大多数情况下都是使用符合业务解释性的变量做策略、做模型。当前进入了大数据时代，在进行风控时常常会挖掘到一些效果好但是不符合 业务解释性的指标，如基于集成算法、深度学习算法建模时使用了某些不好解释的指标但是模型效果较好，此时模型要不要使用呢？
我觉得如果发现了某些效果好但是业务上很难解释的指标，可以用ABTest的方法对指标进行校验，如果最终结果是好的，是可以方向使用的，毕竟我们最终看的是结果。

 

五、做好风控的前置条件：了解你的客户
1.如何了解客群特征呢？最简单的方法就是做好客户画像。了解客群特征是做好风控的前置条件。

2.基于信贷产品要素初始客户概貌
在每一款信贷产品设计出来后，其实也就圈定了对应的准入客群。
在冷启动风控时，一定要先了解信贷产品的相关要素和要求，在了解清楚后会对客群有一个大概的了解。此时，若市场上已有相近的产品，可参考相近产品使用的模型、策略进行冷启动风控，若无相近的产品，可基于产品要素、要求同时结合业务经验快速进行风控。

3.基于积累的样本进一步挖掘客户特征
通过客户的基本信息、资产信息、负债信息、收入信息、征信厚度、申请行为、同业评价、贷款信息、还款信息、逾期信息、社交行为、电商信息、出行信息、综合评分等对风控可能有帮助的维度对申请客群、通过客群、拒绝客群分别分析，并找出不同样本间的共同点和差异点。

在分析完不同客群特征后，需要进行总结和对比，如申请、通过、拒绝客群都有什么特征，之间有哪些差异点。只有了解客群，才能更好地做好风控。
假如线上运行的策略是有效的，那么通过客群和拒绝客群的某些指标应该是有差异的，若差异比较明显说明该维度的指标对风控的帮助比较大，可进一步进行变量挖掘及后续的分析使用，如果无差异，大概率这些指标对风控帮助不大，可少花点精力进行分析。通过这样的分析 ，其实也为后续的风控指明了方向。