学习笔记：二分类算法的评判标准

最近在写逻辑回归，不知道有什么分类的评判标准，问了导师之后了解到有F-Score、Roc、Auc等标准。

在画Roc图像之前，先去了解了很多关于分类的评判标准的术语，在此总结整理。

一、TP、TN、FP、FN

    对于二分类，若默认positive为1，negative为0。则有：

    TP（TRUE POSITIVE）：预测正确（正确的预测成正例），即样本值为1，预测值为1

    TN（TRUE NEGATIVE）:预测正确（正确的预测成反例），即样本值为0，预测值为0

    FP（FALSE POSIVTIVE）:预测错误（错误的预测成正例），即样本值为0，预测值为1

    FN（FALSE NEGATIVE）:预测错误（错误的预测成反例），即样本值为1，预测值为0

    P = TP + FN（样本中正例的个数）

    N = TN +FP （样本中反例的个数）

二、正确率、准确率、召回率、特效度、F-Measure

    1）正确率（accuracy），即预测正确的样本数占所有样本的比例。

        accuracy = (TP + TN) / (TP + TN + FP + FN) = (TP + TN )/(P + N)

        错误率即error rate=  1 - accuracy

    2）准确率（precision），即被预测为正例中正例的比例。

        precision = TP / (TP + FP)

    3）召回率（recall），也称敏感度（sensitivity），即所有正例中被预测为正例的比例。（对正例的识别能力）

        sensitivity = recall = TP / (TP + FN) = TP / P    

    4）特效度（specificity），即所有负例中被预测为负例的比例。（对负例的识别能力）

        specificity = TN / (TN + FP) = TN / N

    5）F-Measure，也称F-Score，是precision和recall的加权调和平均，用于权衡一个模型的好坏。

        F-score = (2 * precision * recall)/(precision + recall)

三、Roc曲线、Auc

    Roc曲线（receiver operating characteristic curve）即接受者操作特征曲线，是反映敏感性和特异性连续变量的综合指标。

    曲线的横坐标为FPR（False Positive Rate） ，即预测为正例但实际为负例的样本数所占所有负例样本的比例。

        FPR = 1 - specificity = FP / (TN + FP) = FP / N

    纵坐标为TPR（True Positive Rate） ，即所有正例中被预测为正例的比例

        TPR = sensitivity = recall = TP / (TP + FN) = TP / P

    拿逻辑回归举例，一般情况下我们都使用0.5作为分类的阈值，若我们的假设函数的值（概率值）超过了0.5，我们即判定该样本属于正例，则预测为1。反之，预测为0。而Roc曲线的每一个坐标值为某个阈值（threshold）下的（FPR，TPR）。这样我们通过一组阈值，就可以求出一组Roc曲线的坐标值，从而可以画出Roc曲线（当然阈值设定得越多，曲线越平滑），Roc曲线一般都在y = x这条直线之上。

    Auc（Area under Curve）则是Roc曲线与横纵坐标的面积。范围是0-1，一般是大于0.5，越接近1越好。当Auc的值为0.5时，说明该模型的正确率就和我们抛硬币出现正反的概率是一样的，也就是基本上没有用，Auc要大于0.5或者小于0.5才有意义。（小于0.5将预测结果取反就变成大于0.5的情况）。

    以上内容是我在网上到处搜刮，加上个人理解所总结的，很多内容没有深究，理解可能也有偏差，但对我来说暂时是够用了。

 

参考博客：

                https://blog.youkuaiyun.com/hermito/article/details/51076728 

                https://www.jianshu.com/p/c61ae11cc5f6