模型稳定性指标—PSI

最新推荐文章于 2025-04-25 15:17:28 发布
最新推荐文章于 2025-04-25 15:17:28 发布
阅读量2.2k 收藏 3
点赞数
原文链接：http://www.cnblogs.com/Allen-rg/p/11512095.html
版权
PSI（Population Stability Index）是评估模型稳定性的关键指标，用于比较不同样本或时间点模型输出评分的分布差异。当PSI值较大时，表明模型的输出分数分布有显著变化，可能需要更新模型。PSI的应用包括样本外测试和时间外测试，通过计算各分数区间内人数占比的稳定性系数来判断模型的稳定性。若变量的PSI大于0.0001，则认为该变量不稳定。通过观察PSI值的大小和趋势，可以监测评分卡模型的稳定性，并据此决定是否重训模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

由于模型是以特定时期的样本所开发的，此模型是否适用于开发样本之外的族群，必须经过稳定性测试才能得知。稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，population分布是否有变化，就是看各个分数区间内人数占总人数的占比是否有显著变化。公式如下：

 

 

这里的AC与EX为不同时间段的模型输出分数，如果PSI过大，说明模型输出的分数分布变化很大了，需要更新模型。 

 

PSI实际应用范例：

1）样本外测试

　　针对不同的样本测试一下模型稳定度，比如训练集与测试集，也能看出模型的训练情况，我理解是看出模型的方差情况。

2）时间外测试

　　测试基准日与建模基准日相隔越远，测试样本的风险特征和建模样本的差异可能就越大，因此PSI值通常较高。至此也可以看出模型建的时间太长了，是不是需要重新用新样本建模了。

 

变量的PSI计算：

PSI：检验变量的稳定性，当一个变量的psi值大于0.0001时，变量不稳定。

一个变量，将它的取值按照分位数来分组一

最低0.47元/天 解锁文章
ML：机器学习之模型监控阶段—模型稳定性分析的简介、常用的监控指标(CSI/PSI)、提高模型稳定性(通用方法/线性模型场景/树类模型场景)的策略之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-12 4087
​ ML：机器学习之模型监控阶段—模型稳定性分析的简介、常用的监控指标(CSI/PSI)、提高模型稳定性(通用方法/线性模型场景/树类模型场景)的策略之详细攻略 目录 模型稳定性分析的简介 提高模型稳定性的策略 模型稳定性分析的简介 1、模型稳定性分析的概述 简介 模型稳定性分析是指评估模型在不同数据集上的性能稳定性的过程，尤其是指模型部署之后，在实际生产环境中的模型稳定性。在实际应用中，模型面临着不同的数据分布、样本规模、特征空间等多种变化，这些变化都可能影响模型的性能。因此，需要
群体稳定性指标（PSI）
weixin_37942413的博客
11-28 1078
PSI指标通过比较两个数据集（通常是一个基准数据集和一个测试数据集）在各分数段的分布差异来衡量数据集的稳定性。基准数据集通常是模型训练时使用的数据集，而测试数据集则是新收集的数据集或不同时间点的数据集.
【风控】稳定性指标PSI
zkw54334的博客
04-25 678
概念PSI 用于衡量“预期分布”（通常取训练集或基准样本）与“实际分布”（验证集、线上新数据等）在各分箱（score bin）上的偏移程度。数值越小表示两者分布越接近，模型或特征越稳定；数值越大则提示分布发生了显著漂移。计算公式PSI∑i1Kpi−qiln⁡piqiPSIi1∑K​pi​−qi​lnqi​pi​​pip_ipi​：第iii个分箱中“实际分布”占比qiq_iqi​：第iii。
模型的 PSI（Population Stability Index）
galoiszhou的博客
01-22 3136
PSI（Population Stability Index）是一种用于评估两个数据集或时间点之间的分布变化的指标。PSI的计算基于两个分布的累积分布函数（CDF）之间的差异。PSI的值越大，表示两个时间点或群体之间的分布变化越大，模型在不同时间点或群体上的预测稳定性越差。请注意，PSI 的计算方法可能因具体业务场景而异，上述示例代码仅提供了一种通用的计算方法。在模型监测和评估的背景下，通常将 PSI 用于检测模型在不同时间点或群体上的预测稳定性，尤其是在评估模型在生产环境中的性能变化时。
成为AI产品经理——模型稳定性评估（PSI）
m0_54231818的博客
12-04 4425
稳定性指标PSI：1.作用 2.计算方法 3.代码
模型稳定度指标PSI 释义及计算示例
热门推荐
黑山老妖的小站
11-30 2万+
稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，population分布是否有变化，就是看各个分数区间内人数占总人数的占比是否有显著变化 PSI小于0.1时候模型稳定性很高，0.1-0.2一般，需要进一步研究，大于0.2模型稳...
python (PSI)模型分和特征稳定性评估指标
weixin_44116269的博客
11-26 9707
@[TOC](python (PSI)模型分和特征稳定性评估指标) 由于模型是以特定时期的样本所开发的，此模型是否适用于开发样本之外的族群，必须经过稳定性测试才能得知。稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，popula...
风控模型中PSI指标
自我成长-博客
08-23 8518
PSI指标 PSI定义：群体稳定性指标PSI(Population Stability Index)是衡量模型的预测值与实际值偏差大小的指标；稳定度指标可衡量测试样本及模型开发样本评分的分布差异，为最常见的模型稳定度评估指标。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，population分布是否有变化，就是看各个分数区间内人数占总人数的占比是否有显著变化 PSI公式：...
SRE稳定性指标：MTBF、MTTR
Sunny_Future的博客
03-31 4197
1、MTTR 平均恢复时间（Mean Time to Repair） 2、MTBF 平均失败时间（Mean Time Between Failures ） MTBF 指示了系统正常运行的阶段，而 MTTR 则意味着系统故障状态的阶段。
群体稳定度指标PSI
剥石榴
06-19 2711
群体稳定性指标PSI(Population Stability Index)是衡量模型的预测值与实际值偏差大小的指标。 PSI = sum（（实际占比-预期占比）* ln（实际占比/预期占比）） 举例： 比如训练一个logistic回归模型，预测时候会有个概率输出p。 测试集上的输出设定为p1吧，将它从小到大排序后10等分，如0-0.1,0.1-0.2,…。 现在用这个模型去对新的样本进行预测，预...
风控模型指标PSI详细理解
bitcarmanlee的博客
06-07 3537
因为在金融领域，稳定是个特别重要的要求，模型/特征的更新频率，比起搜广推这种业务场景来也慢很多很多。举个很实际的例子，大部分做贷款业务的互金公司，包括传统的银行，在20年用户都发生了重大变化，大家的逾期率普遍都提升了很多，原因大家也都清楚，就是因为疫情的黑天鹅事件。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。所以拆开一下，很容易看出来，PSI其实是将A(actual)与E(expected)的KL散度做了一个对称化操作，将两个KL散度进行了相加。
金融风控稳定性指标 PSI & CSI
积一时之步，臻千里之遥程
05-30 4232
原文作者：过一点画一条直线（知乎ID） 知乎专栏：数据化风控 原文链接：https://zhuanlan.zhihu.com/p/94619990 业务背景评分卡模型监控主要可以分为前端分析(Front-End)和后端分析(Back-End)，其中前端分析主要关注人群的稳定性，后端分析主要关注模型的影响和表现。本文主要介绍前端分析中的Population Stability Index (PSI)和Characteristic Stability Index (CSI)，它们是监控模型稳定性的重要指标。
手写Psi模型稳定性
qq_18594445的博客
08-29 899
Psi为群体稳定性指标（Population Stability Index）。 计算公式为：Psi = Sum(（实际占比-预期占比）* ln(实际占比/预期占比)) ​ ​​在金融行业的评分卡制作中，我们通常使用Psi来判断一个模型稳定是否稳定（一般认为Psi小于0.1时候模型稳定性很高，0.1-0.2稳定性较一般，需要进一步观察，大于0.25模型稳定性差，建议重新建模。...
【性能测试】稳定性测试要点-监控关键指标总结（超细整理）
大佬云集技术答疑交流群：743262921(进群暗号:222)
11-20 1510
1、稳定性测试的要点1）长时间的以正常的业务负载进行运行（最低为用户实际使用时的负载量，如果用户实际负载量低于最优负载量，也可以使用最优负载量）。2）稳定性的测试数据（用户实际使用负载量）来源于运营数据。3）稳定性测试时，需要针对不同的业务操作，并且模拟不通的用户，进行长时间的稳定性测试（并行执行所有脚本，因为要模拟实际用户使用场景，不同的用户在线所做的动作肯定不一致）。2、性能测试的监控的关键指标1）系统指标：与用户场景和需求相关的指标用户并发数：某一物理时刻同时向系统提交请求的用户数。
性能测试，稳定性要点-监控关键指标总结
测试萌萌
11-24 1050
1）长时间的以正常的业务负载进行运行（最低为用户实际使用时的负载量，如果用户实际负载量低于最优负载量，也可以使用最优负载量）。 2）稳定性的测试数据（用户实际使用负载量）来源于运营数据。
【转】关于数据挖掘:PSI公式模型数据稳定性指标
好好学习日记
09-09 981
PSI
风控ML[13] | 特征稳定性指标PSI的原理与代码分享
Pysamlam的博客
02-13 4931
PSI这个指标我们在风控建模前后都是需要密切关注的，这个指标直接反映了模型的稳定性，对于我们评估模型是否需要迭代有着直接的参考意义。今天我将从下面几方面来介绍一下这个指标。Index01 ...
PSI稳定性指标
最新发布
06-04
### PSI稳定性指标的定义 PSI（Population Stability Index）是一种用于衡量数据集或模型稳定性的指标，主要用于评估不同时间段样本数据在分布上的相似性[^1]。具体而言，PSI通过比较两个时间点的数据分布差异，帮助分析人员判断数据或模型是否发生了显著变化。 --- ### PSI稳定性指标的计算方法 PSI的计算公式如下： \[ PSI = \sum_{i=1}^{n} (P_1(i) - P_2(i)) \cdot \ln\left(\frac{P_1(i)}{P_2(i)}\right) \] 其中： - \(P_1(i)\) 表示基期（通常是模型上线第一天或初始状态）中第 \(i\) 个区间的数据占比。 - \(P_2(i)\) 表示当前期中第 \(i\) 个区间的数据占比。 - \(n\) 是数据分箱的数量。 为了确保公式的有效性，当 \(P_1(i)\) 或 \(P_2(i)\) 为零时，通常会将其替换为一个非常小的正数（如 \(0.0001\)），以避免对数函数中的除零错误[^3]。 以下是一个简单的Python代码实现： ```python import numpy as np def calculate_psi(expected, actual, bins=10): # 分箱处理 breakpoints = np.percentile(expected, np.arange(0, 100, 100 / bins)) expected_counts, _ = np.histogram(expected, breakpoints) actual_counts, _ = np.histogram(actual, breakpoints) # 计算占比 expected_pct = expected_counts / sum(expected_counts) actual_pct = actual_counts / sum(actual_counts) # 避免除零错误 expected_pct = np.where(expected_pct == 0, 0.0001, expected_pct) actual_pct = np.where(actual_pct == 0, 0.0001, actual_pct) # 计算PSI psi_values = (expected_pct - actual_pct) * np.log(expected_pct / actual_pct) return sum(psi_values) ``` --- ### PSI稳定性指标的应用场景 1. **评分卡模型稳定性监测**：在金融领域，PSI常用于监控评分卡模型的稳定性。例如，将模型上线第一天的用户分数分布作为基期，后续每天的用户分数分布作为当前期，通过计算PSI值来评估模型是否保持稳定[^3]。 2. **特征稳定性评估**：在机器学习建模中，PSI可以用来评估各个特征的稳定性。通过对每个特征分别计算PSI，可以识别出哪些特征在不同时间段内发生了显著变化[^2]。 3. **模型预测稳定性评估**：将模型输出的概率值（prediction_prob）视为一个特征，计算其PSI值，从而评估模型预测结果的稳定性[^2]。 4. **数据分布监控**：在大数据监控中，PSI可用于检测数据源的变化。例如，在金融风控中，通过定期计算PSI值，可以及时发现数据分布异常，从而采取相应措施[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值