二分类评估指标详解-优快云博客

转载：https://zhuanlan.zhihu.com/p/34079183

二分类问题的结果有四种：

预测是positive-1和negative-0，true和false描述本次预测的对错。

True Positive, TP：预测为1，且实际为1，即预测正确；

False Positive, FP：预测为1，而实际为0，即预测错误；

False Negative，FN：预测为0，而实际为1，即预测错误；

True Negative：TN：预测为0，且实际为0，即预测正确；

一般作为positive-1的指标是你更加关注的样本表现，比如“是垃圾邮件”“是阳性肿瘤”“将要发生地震”等。

1.1 混淆矩阵(confusion matrix)

直观呈现以上四种情况的样本数

1.2 准确率(accuracy)

正确分类的样本/总样本数：(TP+TN)/(TP+FP+FN+TN)

用准确率来评价系统时，当出现样本不平衡的问题时，使用准确率难以准确度量。比如98%的正样本，2%的负样本的情况下，模型只需将样本全部预测为正，即可获得98%的准确率。

1.3 查准率(precision, 精度)

在预测为1的样本中，实际为1的概率：TP/(TP+FP)。

因此在垃圾邮件判断的场景中，要求模型具有更高的查准率，不能把正常邮件预测为垃圾邮件。一个都不能判断错误说的是查准率。

1.4 查全率(recall, 召回率)

在实际为1的样本中，预测为1的概率：TP/(TP+FN)。

因此在肿瘤判断和地震预测等场景中，要求模型具有更高的查全率，是个地震都不能放过。一个都不能放过说的是查全率。

1.5 ROC曲线(receiver operating characteristic curve)

ROC曲线指受试者工作特征曲线 / 接收器操作特性曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、特异性为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC曲线上，最靠近坐标图左上方的点为敏感性和特异性均较高的临界值。ROC曲线常被用来评价一个二值分类器的优劣。

ROC曲线的横坐标为false positive rate(FPR, 假阳性率):FP/(FP+TN), 假阳性率：实际无病，但根据筛检被判为有病的百分比，即在实际为0的样本中，判断为1的概率；

ROC曲线的纵坐标为true positive rate(TPR, 真阳性率)：TP/(TP+FN)，真阳性率：实际有病，且根据筛检被判为有病的百分比，即在实际为1的样本中，判断为1的概率；此公式同时可以代表查全率。