Intuitionistic Fuzzy Sets for Large Language Model Data Annotation: A Novel Approach to Side-by-Side

文章主要内容

本文提出一种基于直觉模糊集（IFS）的大语言模型（LLM）数据标注框架，用于改进人类偏好标注的质量。传统并排（SBS）标注方法在处理不确定性、标注者分歧、判断复杂性和标注疲劳等方面存在局限。IFS通过引入**隶属度（支持偏好的程度）、非隶属度（反对偏好的程度）和犹豫度（不确定性）**三个维度，更全面地捕捉人类判断的复杂性。实验表明，与传统二进制和李克特量表方法相比，IFS显著提高了标注一致性、减少了标注疲劳，并生成了更高质量的偏好数据，下游模型性能提升显著。

文章创新点

1. IFS标注框架
   设计了包含三个滑动条的标注界面，允许标注者直接表达隶属度、非隶属度和犹豫度，提供更细致的偏好建模。

2. 聚合方法与质量指标

   • 提出基于IFS的聚合算法，动态调整标注者权重（考虑一致性、专业度和共识度），处理多标注者分歧。
   • 引入IFS特定质量指标，如标注置信度、偏好清晰度和标注者间一致性，用于评估数据质量。

3. 实验验证与性能提升

   • 在多个数据集上验证，IFS使标注者间一致性平均提升17.9%（对比二进制）和9.7%（对比李克特），标注时间减少15.7%。
   • 基于IFS数据训练的模型在下游任务中胜率提升12.3%，安全和帮助性评分显著提高。