29、数据标注质量控制：从比较标注到计算一致性

数据标注质量控制：从比较标注到计算一致性

在数据标注领域，确保标注的准确性和一致性至关重要。我们需要对标注结果进行严格的质量控制，以保证数据能够有效地用于机器学习模型的训练。

1. 标注与真实答案的比较

在任何标注任务中，调整随机机会后的负分都应引起我们对标注过程的警觉。对于标注质量控制的相关指标，根据预期行为进行归一化的指标通常被称为机会校正或机会调整指标。在客观标注任务中，“预期”和“机会”含义相同，但在某些情况下，预期行为并非随机机会。

对于预期准确性，有三个基线可供选择：随机、数据频率和最频繁。计算这三个指标有助于我们直观了解数据情况。合适的归一化指标取决于具体任务和标注人员的经验。

当标注人员刚开始执行任务时，他们可能更接近随机标注。但随着时间推移，他们会意识到某些标签更频繁出现，在不确定时可能会倾向于选择这些标签。因此，建议在标注人员熟悉任务后，采用最严格的基线——最频繁标签。可以将任务开始的前几分钟、几小时或几天视为标注人员的熟悉期。

数据标注的质量控制需要大量资源，应纳入预算考虑。与标注人员直接沟通很有帮助，因为实际操作中部分指令可能不适用，需要与他们密切合作进行完善。如果不考虑完善指令和剔除错误标注项，可能会导致看似廉价但实际昂贵的外包解决方案。

2. 标注者间一致性

数据科学家常说他们的机器学习模型比人类更准确，这里通常指模型比普通人更准确。例如，语音识别技术在常见口音的非技术转录方面比普通英语使用者更准确。但如果人类无法创建具有相应准确性的评估数据，我们该如何评估这些技术的质量呢？

“群体智慧”产生的数据比任何个人更准确。一个多世纪以来，人们一直在研究如何