PSI指标
PSI定义:群体稳定性指标PSI(Population Stability Index)是衡量模型的预测值与实际值偏差大小的指标;稳定度指标可衡量测试样本及模型开发样本评分的分布差异,为最常见的模型稳定度评估指标。其实PSI表示的就是按分数分档后,针对不同样本,或者不同时间的样本,population分布是否有变化,就是看各个分数区间内人数占总人数的占比是否有显著变化
PSI公式:PSI = sum((实际占比-预期占比)* ln(实际占比/预期占比))
PSI < 0.1 模型稳定性很高。
PSI 0.1<= psi < 0.2 模型一般,需要进一步研究
PSI >0.2 模型稳定性差,建议修复
例如:
一个模型需要统计评估其稳定性,对其进行客户分组,统计各个分组客户量的稳定性。以验证模型是否合适。
具体步骤如下:
第一步:统计总进件量X
第二步:将总进件量按区间统计出各区间量
第三步:计算各区间占比(本区间数/总进件数),即实际占比
第四步:根据模型输出期望占比
第五步:计算各个区间psi并最终进行求和。
整理输出的最终报表样式(类似)
图一:
区分度统计图二:
注:时间跨度越大,模型psi越不稳定。
参考:
原文链接:https://blog.youkuaiyun.com/liuliuliuliumin123/article/details/84664651