分类算法常见的评估指标

最新推荐文章于 2025-10-10 10:36:18 发布

原创最新推荐文章于 2025-10-10 10:36:18 发布 · 883 阅读

2 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

5 篇文章

订阅专栏

1、混淆矩阵（Confuse Matrix）

（1）若一个实例是正类，并且被预测为正类，即为真正类TP(True Positive )

（2）若一个实例是正类，但是被预测为负类，即为假负类FN(False Negative )

（3）若一个实例是负类，但是被预测为正类，即为假正类FP(False Positive )

（4）若一个实例是负类，并且被预测为负类，即为真负类TN(True Negative )

## 混淆矩阵 
import numpy as np 
from sklearn.metrics import confusion_matrix 
y_pred = [0, 1, 0, 1] 
y_true = [0, 1, 1, 0] 
print('混淆矩阵:\n',confusion_matrix(y_true, y_pred))

2、准确率（Accuracy）

准确率是常用的一个评价指标，但是不适合样本不均衡的情况。

## accuracy 
from sklearn.metrics import accuracy_score 
y_pred = [0, 1, 0, 1] 
y_true = [0, 1, 1, 0] 
print('ACC:',accuracy_score(y_true, y_pred))

3、精确率（Precision）又称查准率

正确预测为正样本（TP）占预测为正样本(TP+FP)的百分比。

## Precision
from sklearn.metrics import precision_score
y_pred = [0, 1, 0, 1] 
y_true = [0, 1, 1, 0] 
print('Precision',precision_score(y_true, y_pred))

4、召回率（Recall）又称为查全率

正确预测为正样本（TP）占正样本(TP+FN)的百分比。

## Recall
from sklearn.metrics import recall_score
y_pred = [0, 1, 0, 1] 
y_true = [0, 1, 1, 0] 
print('Recall',recall_score(y_true, y_pred))

5、F1 Score

精确率和召回率是相互影响的，精确率升高则召回率下降，召回率升高则精确率下降，如果需要兼顾二者，就需要精确率、召回率的结合F1 Score。

## F1-score 
from sklearn.metrics import f1_score
y_pred = [0, 1, 0, 1] 
y_true = [0, 1, 1, 0] 
print('F1-score:',f1_score(y_true, y_pred))

6、P-R曲线（Precision-Recall Curve）

P-R曲线是描述精确率和召回率变化的曲线

## P-R曲线 
import matplotlib.pyplot as plt 
from sklearn.metrics import precision_recall_curve 
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1] 
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 0, 1] 
precision, recall, thresholds = precision_recall_curve(y_true, y_pred) plt.plot(precision, recall)

7、ROC（Receiver Operating Characteristic）

ROC空间将假正例率（FPR）定义为 X 轴，真正例率（TPR）定义为 Y 轴。

TPR：在所有实际为正例的样本中，被正确地判断为正例之比率。

FPR：在所有实际为负例的样本中，被错误地判断为正例之比率。

## ROC曲线 
from sklearn.metrics import roc_curve 
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1] 
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 0, 1] 
FPR,TPR,thresholds=roc_curve(y_true, y_pred) 
plt.title('ROC') 
plt.plot(FPR, TPR,'b') 
plt.plot([0,1],[0,1],'r--') 
plt.ylabel('TPR') 
plt.xlabel('FPR')

8、AUC(Area Under Curve)

AUC（Area Under Curve）被定义为 ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于 ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。

## AUC 
import numpy as np 
from sklearn.metrics import roc_auc_score 
y_true = np.array([0, 0, 1, 1]) 
y_scores = np.array([0.1, 0.4, 0.35, 0.8]) 
print('AUC socre:',roc_auc_score(y_true, y_scores))

金融风控预测类常见的评估指标

1、KS(Kolmogorov-Smirnov) K-S曲线与ROC曲线类似，不同在于

ROC曲线将真正例率和假正例率作为横纵轴
K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。公式如下：

KS不同代表的不同情况，一般情况KS值越大，模型的区分能力越强，但是也不是越大模型效果就越好，如果 KS过大，模型可能存在异常，所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况，但此对应不是唯一的，只代表大致趋势。

KS值<0.2,一般认为模型没有区分能力。
KS值[0.2,0.3],模型具有一定区分能力，勉强可以接受
KS值[0.3,0.5],模型具有较强的区分能力。
KS值大于0.75，往往表示模型有异常。

## KS值 在实际操作时往往使用ROC曲线配合求出KS值 
from sklearn.metrics import roc_curve 
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1] 
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 1, 1] 
FPR,TPR,thresholds=roc_curve(y_true, y_pred) 
KS=abs(FPR-TPR).max() 
print('KS值：',KS)