机器学习之AUC、AUPRC、F1等评价指标的含义

AUC = 0.506031

AUC(area under the curve)是模型评估指标，特别是二分类模型使用的主要离线评测指标之一。

参考博客，AUC值是ROC曲线与x轴围成的面积。AUC的来源路线：混淆矩阵--ROC曲线--AUC

1.混淆矩阵(二分类)

$$TPR(真正例概率)=\frac{TP}{TP+FN}$$
$$FPR(假正例概率)=\frac{FP}{FP+TN}$$

当阈值（区分类别1,0的值）从1到0慢慢移动，产生很多对 (FPR,TPR)。以FPR为x轴，TFR为y轴的曲线就是ROC曲线，而AUC就是ROC曲线和x轴围成的面积。

AUC的值表示y=1和y=0的距离，也就是AUC越大，两个数据隔得越开，分类的准确率越大。我的AUC=0.506031，预测的准确率只有50%左右。

分类器选取阈值不同，分类的结果也会受到影响。使用AUC的话，考虑到了阈值变动，所以评估的效果更好。

AUPRC = 0.616219

PRC曲线是准确率和召回率的点连成的线。AUPRC=PRC曲线和x轴围成的面积。同AUC相同可以作为选取合适阈值的方法。

Best F1 = 0.780822

F1是分类问题的一个衡量指标。表示准确率（precision）和召回率（recall）的平均数。
$$F_1=2.\frac{precision.recall}{precision+recall}$$

IoU = 0.216904

IoU=预测框和真实框的交并比：
$$IoU=\frac{|A\bigcap B|}{|A\bigcup B|}$$