mAP笔记

目标检测网络训练时会得到coco的一系列评价列表。那么这些数都代表什么意思呢。

首先要明确几个概念

TP（True Positive）：IOU＞0.5的检测框的数量（同一个Ground True只计算一次。认为匹配成公）。

FP（False Positive）：IOU＜=0.5的检测框（假正类，认为它是但它不是）。

FN（False Negative）：没有检测到的GT的数量（漏检）。

Precision（查准率）：TP/(TP+FP)模型预测的所有目标中，预测正确的比例

Recall（查全率）：TP/(TP+FN)所有真实目标中，模型预测正确的目标比例

P-R曲线：Precision-Recall曲线

AP：P-R曲线下的面积

mAP：mean Average Precision，各类别AP的平均值。

例子

以检测猫类别为例

 注：图里的数字代表的是置信度不是IOU，表按照Condifence从大到小排序，num=7。

GT  ID	Confidence	OB(IOU=0.5)
1	0.98	True
3	0.89	True
6	0.88	True
7	0.78	True
3	0.66	False
1	0.61	False
4	0.52	True

 计算AP

针对不同的comfidence去不同的阈值我们会得到不同的Precision和Recall

我们将comfidence设置为0.98也就是红字的位置，我们计算Precision和Recall

TP=1；FP=0；FN=6（一共有七个目标此时只检测出一个目标）；Precision=1；Recall=0.14

GT  ID	Confidence	OB(IOU=0.5)
1	0.98	True
3	0.89	True
6	0.88	True
7	0.78	True
3	0.66	False
1	0.61	False
4	0.52	True

我们将comfidence设置为0.89也就是红字的位置，我们计算Precision和Recall

TP=2；FP=0；FN=5；Precision=1；Recall=0.28

GT  ID	Confidence	OB(IOU=0.5)
1	0.98	True
3	0.89	True
6	0.88	True
7	0.78	True
3	0.66	False
1	0.61	False
4	0.52	True

以此类推我们一直往下计算。

我们将comfidence设置为0.66也就是红字的位置，我们计算Precision和Recall

TP=4；FP=1；FN=3；Precision=0.8；Recall=0.57

GT  ID	Confidence	OB(IOU=0.5)
1	0.98	True
3	0.89	True
6	0.88	True
7	0.78	True
3	0.66	False
1	0.61	False
4	0.52	True

全部计算完之后我们会得到一组Precision和Recall

Rank	Precision	Recall
1	1.0	0.14
2	1.0	0.28
3	1.0	0.42
4	1.0	0.57
5	0.80	0.57
6	0.66	0.57
7	0.71	0.71

 当Recall值相等是我们只需要保留Precision值最大的那个（绿色部分可以删掉）。

Rank	Precision	Recall
1	1.0	0.14
2	1.0	0.28
3	1.0	0.42
4	1.0	0.57
5	0.80	0.57
6	0.66	0.57
7	0.71	0.71

  以Recall为横坐标Precision为纵坐标就会得到P-R曲线。

图中用阴影框住的部分就是我们的AP 。计算公式为Recall值减去前面的Recall（如果没有就减去0比如第一个Recall），然后乘上它下面最大的Precision的值。如图我们的计算公式为：

（0.14-0）*1.0+（0.28-0.14）*1.0+（0.42-0.28）*1.0+（0.57-0.42）*1.0+（0.71-0.57）*0.71=0.6694

COCO数据集的含义

Average Precision （AP）：

最上面的AP是IOU从0.5到0.95步距为0.05的AP的平均值（IOU的值越大要求我们的网络的定位越准确）。

第二行是IOU取0.5（上面的例子就是IOU=0.5）。

第三行是IOU取0.75。

 AP Across Scales：

第一行是针对小目标

第二行是针对中等目标

第三行是针对大目标

Average Recall（AR）：

第一行是每个图片最多预测1个目标（非极大值抑制之后）

第二行是每个图片最多预测10个目标（非极大值抑制之后）

第三行是每个图片最多预测100个目标（非极大值抑制之后）

AR Across Scales:

这个也是对目标大小的限制