32、数据标注质量控制与高级应用全解析

数据标注质量控制与高级应用全解析

1. 数据标注工作流与质量控制基础

在数据标注领域，工作流的复杂度差异较大。曾见过一个用于自动驾驶车辆计算机视觉任务的工作流，它包含约40个任务，除语义分割外，针对每种被跟踪的对象还有多个步骤。

简单任务在用户体验方面存在一些权衡。一方面，人们通常欣赏其高效性；另一方面，这些任务往往更具重复性，容易导致疲劳。而且，一些内部专家可能会对复杂任务被拆分为简单任务感到不满，他们可能会认为这暗示自己没有足够的能力在一个界面中解决所有步骤。此时，需要向他们说明，工作流的选择是由于获取机器学习优质训练数据的限制，而非标注者的专业能力问题。

数据标注质量控制有多种重要方法：
- 使用地面真值示例 ：地面真值示例是已知答案的任务。通过为数据集创建这些示例，可以评估标注者的准确性，为他们制定指导方针，并更好地校准其他质量控制技术。
- 计算一致性 ：在数据集中有多种计算一致性的方法，包括整体一致性、标注者之间的一致性、标签之间的一致性以及任务级别的一致性。理解每种一致性类型有助于计算训练和评估数据的准确性，并更好地管理标注者。
- 考虑随机基准 ：对于任何评估指标，都应计算随机情况下可能出现的预期结果作为基线。这样可以将准确性/一致性指标归一化为考虑随机因素后的分数，使不同任务之间的分数更具可比性。
- 结合地面真值数据和标注者间一致性 ：同时使用地面真值数据和标注者间一致性能获得最佳结果。地面真值一致性有助于更好地校准一致性指标，而一致性指标可应用于比仅使用地面真值更实际的