Kolmogorov-Smirnov KS 定义 python实现 KS值的正负

最新推荐文章于 2024-06-16 16:23:02 发布
原创 最新推荐文章于 2024-06-16 16:23:02 发布 · 1.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ks #python #TPR #FPR #kolmogorov-smirnov

本文介绍了KS值的定义，并通过Python展示了如何计算TPR和FPR曲线之间的最大距离，作为衡量分类器性能的一个指标。文章讨论了不同的距离计算方式，并提供了代码实现第三种方法，该方法能反映模型区分能力最强的点且考虑了反向预测的情况。

定义

TP： True Postive 预测正类，实际也是正类
FP：False Positive 预测正类，实际是负类
TN：True Negtive 预测负类，实际也是负类
FN：False Negtive 预测负类，实际是正类

TPR：TP / (TP+FN) 所有正例中有多少个正例被分出来。
FPR： FP / (TN+FP) 所有负例中有多少例子被分为正例。

模型预测的结果通常是一个概率值，概率值越大说明这个样本是正例的可能性越大，我们需要一个阈值(threshold)来定义多大的概率以上才是正例，通常这个值设为0.5，表示概率值大于0.5表示这个样本是正例，小于0.5表示这个样本是负例。

TPR曲线：横轴是阈值，纵轴是TPR，通过将阈值从1.0->0来画出很多个TPR的点，连起来得到TPR曲线。
FPR曲线：横轴是阈值，纵轴是FPR，通过将阈值从1.0->0来画出很多歌FPR的点，连起来得到FPR曲线。

KS值：TPR曲线和FPR曲线相距最远的距离值（同一个阈值的TPR和FPR的差值）

如图：
KS图

代码实现

from sklearn.metrics import roc_curve
import numpy as np

d
最低0.47元/天 解锁文章
Python 详解K-S检验与3σ原则剔除异常值
叶庭云 成为自己的光
06-16 4401
Python 详解K-S检验与3σ原则剔除异常值
Python计算分类评估KS值、最佳阈值及绘制KS曲线
data+scenario+science+insight
07-28 2724
Python计算分类评估KS值、最佳阈值及绘制KS曲线 目录 计算分类评估KS值、最佳阈值及绘制KS曲线 KS曲线 KS曲线绘制 KS曲线 KS值---学习器将正例和反例分开的能力，确定最好的“截断点” 蓝色线：TPR；绿色线：FPR；红色线：TPR - FPR KS曲线和ROC曲线都用到了TPR，FPR。KS曲线是把TPR和FPR都作为纵坐标，而样本数作为横坐标。 我们训练出来的模型，一般不是直接给出是正类还是负类的结果，给的是为正类的概率，我们还需要选择一个阈值，实例通过模
Python绘制KS曲线的实现方法
12-24
python实现KS曲线，相关使用方法请参考上篇博客-R语言实现KS曲线 代码如下： ####################### PlotKS ########################## def PlotKS(preds, labels, n, asc): # preds is score: asc=1 # preds is prob: asc=0 pred = preds # 预测值 bad = labels # 取1为bad, 0为good ksds = DataFrame({'bad': bad, 'pred': pred}) ksds['good
python ks检验_在python scipy中实现Kolmogorov Smirnov检验
weixin_39610229的博客
12-10 1070
您的数据是以mu = 0.07和sigma = 0.89生成的。您正在使用平均值0和标准偏差1的正态分布来测试此数据。零假设(H0)是您的数据是样本的分布等于标准正态分布，平均值为0，标准偏差为1。小的p值表示将具有与D一样大的测试统计量，其概率为p值。换句话说，(p值〜8.9e-22)，H0是非常不可能的。这是合理的，因为手段和标准偏差不匹配。比较你的结果：In [23]: import sci...
绘制KOLMOGOROV-SMIRNOV KS检验图ECDF经验累积分布函数曲线
拓端研究室TRL
01-04 432
原文链接：http://tecdat.cn/?p=24925Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法。其原假设H0:两个数据分布一致或者数据符合理论分布。D=max| f(x)- g(x)|，当实际观测值D>D(n,α)则拒绝H0，否则则接受H0假设。KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况，...
KS-检验（Kolmogorov-Smirnov test） -- 检验数据是否符合某种分布
weixin_33739523的博客
05-16 7006
Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法。其原假设H0:两个数据分布一致或者数据符合理论分布。D=max| f(x)- g(x)|，当实际观测值D>D(n,α)则拒绝H0，否则则接受H0假设。 KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况，可以算是一种非参数检验方法。当然这样方便的代价就是当检验的数...
python数据分析---ch11 python数据描述性统计
爱数据爱统计
06-16 1793
零基础入门，python描述性统计
KS检验样本测试集和训练集分布问题
weixin_58222015的博客
02-23 1336
KS返回结果：ks检验一般返回两个值：第一个值表示两个分布之间的最大距离，值越小即这两个分布的差距越小，分布也就越一致。第二个值是p值，用来判定假设检验结果的一个参数，p值越大，越不能拒绝原假设(待检验的两个分布式同分布)，即两个分布越是同分布。KS检验是什么：Kolmogorov–Smirnov 检验，简称KS检验，是统计学中的一种非参数假设检验，用来检测单样本是否服从某一分布，或者两样本是否服从相同分布。列表转数组：np.array()；注意：data1、data2是一维数组array，不能是列表。
区分度评估指标-KS
凝眸伏笔的博客
12-05 8593
KS指标来评估模型的区分度（discrimination），风控场景常用指标之一。本文将从区分度的概念、KS的计算方法、业务指导意义、几何解释、数学思想等多个维度展开分析，以期对KS指标有更为深入的理解认知。在探索性数据分析（EDA）中，若想大致判断自变量x对于因变量y有没有区分度，我们常会分正负样本群体来观察该变量的分布差异，如图1所示。那么，如何判断自变量是有用的？直观理解，如果这两个分布的重叠部分越小，代表正负样本的差异性越大，自变量就能把正负样本更好地区分开。 图 1 - 正负样本变量分布差异对比K
KS(Kolmogorov-Smirnov)值
weixin_30367169的博客
09-12 1209
KS(Kolmogorov-Smirnov)值越大，表示模型能够将正、负客户区分开的程度越大。KS值的取值范围是[0，1] ks越大，表示计算预测值的模型区分好坏用户的能力越强。 ks值含义 > 0.3 模型预测性较好 0,2~0.3 模型可用 0~0.2 模型预测能力较差 < 0 模型错误 ...
AUC、KS值、PSI值理解
Mark_Australia的博客
06-02 1万+
AUC（Area under the Curve of ROC）是ROC曲线下方的面积，是判断二分类预测模型优劣的标准。ROC（receiver operating characteristic curve）接收者操作特征曲线，是由二战中的电子工程师和雷达工程师发明用来侦测战场上敌军载具（飞机、船舰）的指标，属于信号检测理论。ROC曲线的横坐标是伪阳性率（也叫假正类率，False Positive Rate），纵坐标是真阳性率（真正类率，True Positive Rate），相应的还有真阴性率（真负类率，
python 正态分布_Tests for normality正态分布检验（python代码实现）
weixin_39620001的博客
11-21 1148
从0到1Python数据科学之旅：http://dwz.date/cqpw原创，来源微信公众号：pythonEducation目录：1.Shapiro-Wilk test样本量小于502.normaltest样本量小于50，normaltest运用了D’Agostino–Pearson综合测试法，每组样本数大于203.Lilliefors-test- for intermed...
多维点分布的均匀性评估方法（NDD和Voronoi 图法）
u014374826的博客
05-10 6955
多维点分布的均匀性评估方法（NDD和Voronoi 图法）
风控模型指标KS值详解与代码实现
bitcarmanlee的博客
05-22 8052
K-s曲线的数据来源和本质是与ROC曲线是一致的，只不过ROC曲线是将真正类率和假正类率作为横纵轴，K-s曲线则是把真正率和假正率都当作是纵轴，横轴为选定的阈值。crosstab是计算分组频率的特殊透视表，我们先试用crosstab计算分组频率，然后通过cumsum方法，即可求得在各个阈值的累积频率然后完成ks值的计算。关于ks_2samp方法，可以多说几句，其输出了两个值，一个是statistic，就是我们想求的ks值，还有一个pvalue。以python为例，实现ks值的计算。
4.4.2分类模型评判指标（三） - KS曲线与KS值
热门推荐
Orange_Spotty_Cat的博客
08-24 3万+
简介 KS曲线是用来衡量分类型模型准确度的工具。KS曲线与ROC曲线非常的类似。其指标的计算方法与混淆矩阵、ROC基本一致。它只是用另一种方式呈现分类模型的准确性。KS值是KS图中两条线之间最大的距离，其能反映出分类器的划分能力。 一句话概括版本： KS曲线是两条线，其横轴是阈值，纵轴是TPR与FPR。两条曲线之间之间相距最远的地方对应的阈值，就是最能划分模型的阈值。 KS值是MAX(TP...
ks检验正态分布结果_第八章评价测度之KS统计量
weixin_29012765的博客
01-03 1831
本篇内容来自《信用评分工具》一书的8.3KS统计量。KS统计量全称为Kolmogorov-Smirnov统计量，基于经验累积分布函数，是一种非参数的统计检验方法，用于检验两个分布是否一致。对于两个分布，其计算公式如下： 其中 和 分别表示两个分布的累积函数， 和 分别表示两个分布的样本数量。其原假设 为 和 来自同一个分布，备择假设 为 和 来自不同的分布。如果根据 计算所得P小于我...
【机器学习】KS值
littlemichelle
06-20 2万+
KS检验-风控角度 分类模型评判指标 - KS曲线与KS值 从统计角度，我们知道KS是分析两组数据分布是否相同的检验指标。在金融领域中，我们的y值和预测得到的违约概率刚好是两个分布未知的两个分布。好的信用风控模型一般从准确性、稳定性和可解释性来评估模型。 一般来说。好人样本的分布同坏人样本的分布应该是有很大不同的，KS正好是有效性指标中的区分能力指标：KS用于模型风险区分能力进行评估，KS指...
如何在Python中设置和可视化阈值
CyberLynxO的博客
09-05 338
在本文中，我们将学习如何在Python中设置阈值，并通过可视化来观察阈值化的效果。通过该函数，我们将图像中的像素值与阈值进行比较，大于阈值的像素值将被设置为255，小于等于阈值的像素值将被设置为0。在Python中，我们可以使用OpenCV库来处理图像，matplotlib库来进行可视化。通过设置不同的阈值值，你可以观察到图像在不同阈值下的二值化效果，并根据实际需求选择最适合的阈值。运行该脚本后，你将看到原始图像和阈值化后的图像显示在一个窗口中。在第二个子图中，我们显示阈值化后的图像。
ks值
最新发布
03-11
KS值（Kolmogorov-Smirnov Statistic）是评估二分类模型区分正负样本能力的指标。其核心思想是通过比较正负样本预测概率的累积分布差异，找到模型在最佳阈值下的区分度。具体来说： - **TPR（True Positive Rate）**...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值