38、机器学习任务中的标注质量

机器学习任务中的标注质量

在机器学习领域，数据标注质量对于模型的训练和性能起着至关重要的作用。不同的机器学习任务，如目标检测和语义分割，对标注质量有着不同的要求和评估方法。下面将详细介绍目标检测和语义分割中的标注质量相关内容。

目标检测标注质量

调整随机因素后的评估指标

在目标检测中，如果要调整随机因素的影响，可以将图像中边界框内的百分比作为基线。例如，一个标注的交并比（IoU）为 0.8，而目标占图像的 10%，则调整后的 IoU 计算如下：

Adjusted IoU = 0.8 – (0.1 / (1 – 0.1)) = 0.6889

IoU 比精确率、召回率和 F 分数更为严格，在相同数据上其值往往更低。如果使用精确率、召回率和 F 分数代替 IoU 进行评估，同样要以整个图像对象为基础来调整随机因素，但计算结果会有所不同。假设对于占图像 10% 的同一目标，标注的 F 分数为 0.9，则：

Expected precision = 0.1
Expected recall = 1.0
Expected F-score = (2 * 0.1 * 1.0) / (0.1 + 1.0) = 0.1818
Adjusted F-score = 0.9 – (0.1818)/(1 – 0.1818) = 0.6778

可以看到，尽管初始的 IoU 和 F 分数有 10% 的差异，但调整随机因素后，它们的差异缩小到了约 1%。可以通过