分类器评估指标——混淆矩阵 ROC AUC KS AR PSI Lift Gain

最新推荐文章于 2021-05-27 11:38:34 发布

snowdroptulip

最新推荐文章于 2021-05-27 11:38:34 发布

阅读量7.2k

点赞数 12

分类专栏：机器学习 Python

本文链接：https://blog.youkuaiyun.com/snowdroptulip/article/details/103987651

版权

该博客详细介绍了分类器评估的各种指标，包括混淆矩阵、准确率、ROC曲线、AUC、KS曲线、CAP和AR值、模型稳定性PSI以及Lift和Gain图的原理和Python实现。通过这些指标，可以全面评估模型的性能和稳定性，指导模型优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、混淆矩阵

混淆矩阵原理

混淆矩阵的python代码

2、准确率（Accuracy）、精确率（Precision）、灵敏度（Sensitivity）、召回率（Recall）、特异度（Specificity）、F1 Score等指标

1、混淆矩阵

混淆矩阵是最简单、最基础的分类的评估指标，在这里只讲二分类的混淆矩阵，多分类与二分类类似。

混淆矩阵原理

真实值是positive，模型认为是positive的数量（True Positive=TP）

真实值是positive，模型认为是negative的数量（False Negative=FN）：这就是统计学上的第一类错误（Type I Error）

真实值是negative，模型认为是positive的数量（False Positive=FP）：这就是统计学上的第二类错误（Type II Error）

真实值是negative，模型认为是negative的数量（True Negative=TN）

混淆矩阵的python代码

from sklearn.metrics import confusion_matrix
import matplotlib.pyplot as plt
import numpy as np

def plot_confusion_matrix(y, y_hat, labels = [1,0]):
    # y是真实的标签，y_hat是预测的标签，labels表示label的展示顺序
    cm = confusion_matrix(y,y_hat,labels = labels)
    plt.figure(figsize=(5, 5))
    plt.imshow(cm, interpolation='nearest',cmap=plt.cm.binary)
    plt.xticks(np.array(range(len(labels))), labels, rotation=90)  # 将标签印在x轴坐标上
    plt.yticks(np.array(range(len(labels))), labels)  # 将标签印在y轴坐标上

    plt.title('Confusion Matrix')  # 标题
    plt.xlabel('predict label')  # x轴
    plt.ylabel('true label')  # y轴

    ind_array = np.arange(len(labels))
    x, y = np.meshgrid(ind_array, ind_array)

    for x_val, y_val in zip(x.flatten(), y.flatten()):
        c = cm[y_val][x_val]
        plt.text(x_val, y_val, "%s" % (c,), color='red', fontsize=20, va='center', ha='center')

    plt.show()

图形结果：