33、高级数据标注与增强：技术解析与应用策略

高级数据标注与增强：技术解析与应用策略

1. 数据标注中的关键指标与方法

1.1 Epsilon的影响

在数据标注中，epsilon 是一个重要的参数。它在不同的计算场景中有不同的作用。例如，在某些计算中，epsilon 会对结果产生显著影响，能使结果调整 20%。在之前的计算中，Krippendorff’s alpha 是在整个数据集中的标注总数上计算 epsilon，而现在是在单个任务内的标注上进行计算。通过比较原始分数和调整后的分数，可以明显看到 epsilon 的重要性。

1.2 分布估计与交叉熵

如果需要准确了解标注者对实际分布的估计能力，可以采用多种变体和扩展方法。由于每个标注者的预期标注分布总和必须为 1，所以某些任务不可能得到 0 分，即他们不能总是对每个标签都给出最差的估计。此时，可以像处理地面真值准确性和一致性那样对这个基线进行归一化。

交叉熵是另一种计算预期分布和实际分布差异的方法。虽然在机器学习中，交叉熵常用于比较概率分布，但很少用于比较训练数据的实际标注和预期标注，这是一个值得研究的领域。

1.3 贝叶斯真相血清（BTS）

BTS 是一种将实际标注和预期标注结合为单一分数的方法。它从信息论的角度计算分数，该分数不能直接用于解释标注者或标签的准确性。BTS 会寻找比标注者集体预测更常见的响应，这些响应不一定是最频繁的响应。

例如，在某个数据集中，Cameron 的 BTS 得分最高，主要是因为选择“Cyclist”作为实际标注包含了较高的信息。而 Blake 的得分最低，是因为他预测 0.9 的标注会是“Pedestrian”，但实际只有 0.6