30、数据标注的质量控制与聚合方法

数据标注的质量控制与聚合方法

1. Krippendorff’s alpha的扩展应用

Krippendorff’s alpha不仅可用于互斥标注任务，还能用于更复杂的任务。可以通过改变Krippendorff’s alpha方程中的标签权重，来处理序数和旋转数据。不过，Krippendorff’s alpha在用于训练数据时存在一些不足，它最初是为学校随机分配试卷给多个评分员的场景推导的，没有考虑到不同标注员根据所见内容会有不同的预期一致性。在创建训练数据时，我们通常会非随机地分配标注任务，例如将难题交给更多人裁决。

1.1 个体标注员一致性

个体标注员一致性在多个方面都很有用：
- 可以判断每个标注员的可靠性。
- 可以从宏观层面计算标注员在所有响应中的可靠性，也可以查看他们在某些标签或数据段上的一致性高低。这有助于了解标注员的准确性，或者发现多样化的有效标注。

以下是三种分类任务及Krippendorff’s alpha标签权重的应用示例：
| 分类任务类型 | 示例说明 |
| — | — |
| 互斥标注任务 | 重复之前章节示例的标签权重 |
| 序数尺度 | 从“Bad”到“Excellent”的尺度，对相邻标注如“Good”和“Excellent”给予部分分数 |
| 旋转类别 | 如罗盘方向，偏离90度的给予部分分数，偏离180度的给予零分 |

2. 标注员间一致性

2.1 多数一致性

计算标注员间一致性最简单的指标是计算每个标注员在给定任务上与多数人一致的频率。多数一致性关注一个人在每个任务上与最常标