PSI|CSI和ROC|AUC和KS -备忘录

PSI和CSI是对评分卡主模型分数以及入模变量进行监控的一大利器，它们不仅可以实时反映模型的稳定性，也可以快速发现问题，定位问题（客群变化引起、变量变化引起等），从而找到有效的解决方案。

PSI指标

PSI定义：群体稳定性指标PSI(Population Stability Index)是衡量模型的预测值与实际值偏差大小的指标；稳定度指标可衡量测试样本及模型开发样本评分的分布差异，为最常见的模型稳定度评估指标。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，population分布是否有变化，就是看各个分数区间内人数占总人数的占比是否有显著变化

PSI公式：PSI = sum（（实际占比-预期占比）* ln（实际占比/预期占比））

PSI < 0.1 模型稳定性很高。

PSI 0.1<= psi < 0.2 模型一般，需要进一步研究

PSI >0.2 模型稳定性差，建议修复

例如：

一个模型需要统计评估其稳定性，对其进行客户分组，统计各个分组客户量的稳定性。以验证模型是否合适。

具体步骤如下：

第一步：统计总进件量X

第二步：将总进件量按区间统计出各区间量

第三步：计算各区间占比（本区间数/总进件数），即实际占比

第四步：根据模型输出期望占比

第五步：计算各个区间psi并最终进行求和。

整理输出的最终报表样式（类似）

注：时间跨度越大，模型psi越不稳定。

参考：

原文链接：https://blog.youkuaiyun.com/liuliuliuliumin123/article/details/84664651

原文链接：模型稳定度指标PSI与IV - 光彩照人 - 博客园

二、AUC和ROC

 

三、模型稳定性 KS