目标检测一些常用的评价指标

最近在赶一篇关于路面标线检测的论文，博文的更新暂停了一段时间。在论文中需要定量地分析目标检测算法的优劣，特在此总结一些常用的评价指标。

1. PR曲线(Precision&Recall)

首先需要了解几个概念。

True positive(TP): 预测为positive ground truth为True

True negative(TN): 预测为positive 但ground truth 为negative

False positive(FP): 预测为positive 但ground truth 为negative

False negative(FN): 预测为negative ground truth也为False

precision: 查准率，指预测为positive中，ground truth是positive所占的比例 （TP/(TP+FP)），该值越大越好，1为理想状态

recall:  查全率，指所有的True样本中，预测为positive所占的比例（TP/(TP+FN)），该值越大越好，1为理想状态

F1-score: 将precision 和recall合成一个指标，越大越好

accuracy: 所有预测结果与实际结果一样的样本/所有样本

FP Rate(FPR): false positive占整个negative的比例，就是说原本是negative 预测为positive的比例，越小越好

TP Rate(TPR): true positive 占整个positive 的比例

PR曲线：(precision,recall)曲线，越凸向右上方效果越好

AP：PR曲线下的面积

AUC： Area Under the Curve 是一个抽象的概念，并不单指ROC曲线下的面积

通过计算每个样本的TP, FP, TN, FN的值，得到每个样本对应的(P, R)值对，从而可以绘制PR曲线图。PR曲线的一般趋势是向右上方凸起的一条曲线，最右上方凸起点成为平衡点，该点的p、r坐标值越大越好，表示检测器性能在该点达到平衡状态，既保证高精确度又保证高召回率。

此外，F1-score的计算公式为F1 = 2 * p * r* (p+r) 

2. ROC曲线(receiver operating characteristic)

ROC曲线是一种描述灵敏度的评价指标。ROC曲线可以通过计算样本的真阳性率TPR和假阳性率FPR得到，因此ROC曲线也叫做相关操作特征曲线。与PR曲线相反，ROC    曲线的趋势是向左上角凸起的一条曲线，如下图。评价两条ROC曲线的性能优劣，通常计算曲线下方包含的面积AUC，面积越大则代表检测器性能越好。

3. MAP(Mean Average Precision), AP(Average Precision)

AP通常用于计算平均的检测精度，用于衡量检测器在每个类别上的性能好坏；而MAP则更多用于评价多目标的检测器性能，衡量检测器在所有类别上的性能好坏，即得到每个类别的AP值后再取所有类别的平均值。假设N个样本中有M个positive的正例，那么我们就会得到M个recall值(1/M,2/M,3/M......M/M)，对于每个recall值r，我们可以计算出对应r'>r的最大的precision值，然后对这M个precision 值取平均即得到最后的AP值。计算过程如下表所示：

此时的PR曲线为：

关于目标检测相关的评价指标就总结到这里，后续有需要会继续补充。