30、数据标注质量控制：从评估到聚合

数据标注质量控制：从评估到聚合

1. Krippendorff’s alpha的扩展应用

Krippendorff’s alpha不仅可用于互斥标签任务，还能处理更复杂的任务。通过改变其公式中的标签权重，可以处理顺序数据和旋转数据。例如，有三种类型的分类任务：
- 互斥标签任务 ：重复之前示例中的标签权重。
- 顺序量表任务 ：如从“Bad”到“Excellent”的顺序，对于相邻的注释（如“Good”和“Excellent”）给予部分分数。
- 旋转类别任务 ：以罗盘方向为例，偏差90度的给予部分分数（如“North”和“West”），偏差180度的给予零分（如“North”和“South”）。

不过，Krippendorff’s alpha在用于训练数据时存在一些不足。它最初是为学校随机分配试卷给多个评分者的场景推导的，没有考虑到不同标注者基于所见内容可能有不同的预期一致性。在创建训练数据时，我们常常会非随机地分配标注任务，比如将难题交给更多人裁决。

2. 个体标注者一致性

个体标注者层面的一致性有多种用途。可以从宏观层面计算标注者在所有响应中的可靠性，也可以查看他们在特定标签或数据段上的一致性高低。这有助于判断标注者的准确性，或者发现多样化的有效标注。

3. 标注者间一致性

3.1 多数一致性

计算标注者间一致性最简单的指标是计算每个标注者在给定任务上与多数人一致的频率。多数一致性通过查看一个人在每个任务上与最常见标注标签一致的次数来衡量。例