1. KITTI
一个前视双目数据集,附有雷达数据,主要用于单目3D目标检测模型。数据集根据遮挡将目标分为三档,分别是未遮挡Easy,半遮挡Mod.,和大部分遮挡Hard,一般模型检测指标都是根据这三类标签分别计算mAP。
mAP计算流程:
①根据一张图片中某一类的预测框的置信度由大到小进行排序;
②对每个预测框和GT计算IOU,只有大于阈值的会保留,如果GT对应多个预测框,只取IOU最大的那个,其余的作为FP,最后每个GT最多只对应一个预测框作为TP;
③计算召回率和精准率,Recall=TP/GT的个数(固定),Precision=TP/TP+FP,根据置信度从大到小进行计算,所以是分子分母都会变化,而Recall分母不变,因而会保持不变或变大。
④绘制PR曲线,横坐标为Recall,纵坐标为Precision,曲线的面积为ap;
⑤对一张图片中不同的分类分别计算求平均得到mAP。
2. Nusence数据集
有六个环视摄像头和激光雷达,多用于环视3D目标检测。评价指标有:mAP、mATE、mASE、mAOE、mAVE、mAAE、NDS。
mAP:
在评测时依旧使用检测领域的AP,不过AP的阈值匹配不使用IoU来计算,而使用在地平面上的2D中心距离d来计算。这样解耦了物体的尺寸和方向对AP计算的影响。d设置为D={0.5,1,2,4}米,也就是说,将原来的IOU阈值改为平面d的阈值,只有小于d的才作为AP进行计算,在计算AP时,去除了低于0.1