Large Language Models as Span Annotators

主要内容

1. 研究背景：文本评估中，单分数指标难以反映文本细粒度问题，跨度注释可定位文本问题片段并分类，为文本改进提供指导，但传统依赖人工标注，成本高且难以扩展。大语言模型（LLMs）作为评判者的范式兴起，使自动生成跨度注释成为可能。
2. 相关工作：回顾自动自然语言生成（NLG）评估指标、跨度注释协议和自动化跨度注释的研究进展，指出当前研究不足，强调本文系统对比LLMs与人类注释者的工作意义。
3. 使用LLMs实现自动化跨度注释
   • 跨度注释任务定义：形式化定义跨度注释过程，包括文本序列、注释集、注释类别和注释指南等要素。
   • 自动化实现：基于LLMs-as-judge范式，通过结构化解码让LLMs遵循注释指南生成注释，以JSON格式输出，便于解析和获取注释解释。
   • 评估方法：介绍用于评估跨度注释质量的多种相似度指标，包括Pearson相关性、Precision、Recall、F1F_{1}