Improving Attributed Text Generation of Large Language Models via Preference Learning

本文是LLM系列文章，针对《Improving Attributed Text Generation of Large Language Models via
Preference Learning》的翻译。

摘要

大型语言模型已被广泛应用于自然语言处理中，但它们面临着生成不可靠内容的挑战。最近的工作旨在通过归因作为提供证据的手段（即引用）来减少错误信息和幻觉。然而，目前的归因方法通常侧重于检索阶段和自动评估，而忽略了反映人类学术写作中的引用机制以提高可信度。在本文中，我们通过将归因任务建模为偏好学习并引入自动偏好优化（APO）框架来应对这些挑战。首先，我们通过收集和过滤现有数据集，创建了一个包含6330个示例的后训练策划集合。其次，考虑到标记偏好数据的高成本，我们进一步提出了一种自动合成归因偏好数据的方法，得到95263对。此外，受人类引用过程的启发，我们进一步提出了一种利用细粒度信息的渐进偏好优化方法。在三个数据集（即ASQA、StrategyQA和ELI5）上进行的大量实验表明，APO以更高的回答质量实现了最先进的引文F1。

1 引言

2 相关工作

3 前言

4 方法

5 设置

6 结果

7 结论

本文介绍了属性文本生成的APO框架。我们将归因视为一项偏好学习任务，利