ANAH: Analytical Annotation of Hallucinations in Large Language Models

本文是LLM系列文章，针对《ANAH: Analytical Annotation of Hallucinations in Large Language Models》的翻译。

摘要

减少大型语言模型 （LLM） 的“幻觉”问题对于其广泛应用至关重要。对幻觉进行全面而精细的测量是治理这个问题的第一步，但在社区中尚未得到充分探索。因此，我们提出了 ANAH，这是一个双语数据集，可在生成问答中提供 LLM 中幻觉的分析注释。我们数据集中的每个答案句子都经过严格的注释，涉及参考片段的检索、幻觉类型的判断以及幻觉内容的校正。ANAH 由 ∼4.3k LLM 响应的 ∼12k 句子级注释组成，涵盖 700 多个主题，由人机回环管道构建。由于幻觉注释的精细粒度，我们可以定量地确认 LLM 的幻觉在答案中逐渐积累，并使用 ANAH 来训练和评估幻觉注释者。我们对研究生成式和判别性注释者进行了广泛的实验，结果表明，尽管目前的开源 LLM 在细粒度幻觉注释方面存在困难，但用 ANAH 训练的生成式注释器可以超越所有开源 LLM 和 GPT3.5，获得与 GPT4 竞争的性能，并在看不见的问题上表现出更好的泛化能力。

1 引言

2 数据集构造

3 幻觉注释器

4 实验

5 相关工作

6 结论和未来工作

生成任务中的幻觉对 LLM 的可靠性和可信度构成了重大障碍，但缺乏全面和精细的检测策略。因此，我们提供了一个双语数据集 ANAH，用于 GQA 中的细粒度幻觉注释，涵盖不同的主题，为定量分析累积效应等幻觉现象提供了机会，并促进了最先进的细粒度幻觉注释器的