Fine-tuning Language Models for Factuality

本文是LLM系列文章，针对《Fine-tuning Language Models for Factuality》的翻译。

摘要

大型预训练语言模型（LLM）的流畅性和创造性导致了它们的广泛使用，有时甚至可以取代传统的搜索引擎。然而，语言模型往往会提出令人信服但事实不准确的说法，通常被称为“幻觉”这些错误可能会在无意中传播错误信息或有害地延续误解。此外，手动对模型响应进行事实核查是一个耗时的过程，这使得获取人类真实性标签的成本很高。在这项工作中，我们对语言模型进行了微调，使其更加真实，没有人为的标记，并且与过去的工作相比，针对的是更开放的一代环境。我们利用NLP最近的两项关键创新来做到这一点。首先，最近的几项工作提出了通过测量与外部知识库的一致性或简单地测量大型模型的置信度来判断开放式文本的真实性的方法。其次，直接偏好优化算法能够使用对可能的模型响应的偏好排序，在监督模仿之外的目标上直接微调语言模型。我们表明，与RLHF或针对真实性的解码策略相比，从通过现有检索系统或我们新颖的无检索方法生成的自动生成的真实性偏好排名中学习，可以显著提高Llama-2在未决主题上的真实性（生成的正确声明的百分比）。在7B量表中，与Llama-2-chat相比，我们观察到在生成传记和回答医学问题时，事实错误率分别降低了58%和40%。

1 引言

2 前言

3 构建长篇文本中的偏好激励事实

4 实验

5 相关工作

6 结论

在本文中，我们展示了一种实用、有效的策略来提高语言模型生成事实内容的能力，特别