38、机器学习任务中的标注质量：目标检测与语义分割

机器学习任务中的标注质量：目标检测与语义分割

在机器学习领域，数据标注质量对于模型的性能和效果起着至关重要的作用。本文将深入探讨目标检测和语义分割这两个重要任务中的标注质量相关问题，包括评估指标、一致性计算、维度影响、主观性处理以及数据聚合等方面。

目标检测标注质量

1. 调整随机因素的标注评估

在目标检测中，为了调整随机因素的影响，可以将框内图像的百分比作为基线。例如，若一个标注的交并比（IoU）为 0.8，且目标占图像的 10%，则调整后的 IoU 计算如下：

Adjusted IoU = 0.8 – (0.1 / (1 – 0.1)) = 0.6889

IoU 比精确率（precision）、召回率（recall）和 F 分数（F-score）更为严格，因为在相同数据上，IoU 往往具有较低的值。若使用精确率、召回率和 F 分数而非 IoU，仍需以整个图像对象为基础来调整随机因素，但结果会有所不同。假设同一目标的 F 分数为 0.9，目标占图像的 10%，则：

Expected precision = 0.1
Expected recall = 1.0
Expected F-score = (2 * 0.1 * 1.0) / (0.1 + 1.0) = 0.1818
Adjusted F-score = 0.9 – (0.1818)/(1 – 0.1818) = 0.6778

可以看到，尽管初始的 IoU 和 F 分数有