Fine-tuning Language Models for Factuality

微调语言模型提升事实准确性

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量270

点赞数

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134434941

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文介绍了一种方法，通过微调大型预训练语言模型，使其在生成内容时更注重事实准确性。研究利用NLP创新，如外部知识一致性测量和模型的置信度，以及偏好优化算法，减少了模型生成的错误信息。实验显示，与对照模型相比，事实错误率显著降低，特别是在长篇文本生成和医学问答中。

本文是LLM系列文章，针对《Fine-tuning Language Models for Factuality》的翻译。

摘要

大型预训练语言模型（LLM）的流畅性和创造性导致了它们的广泛使用，有时甚至可以取代传统的搜索引擎。然而，语言模型往往会提出令人信服但事实不准确的说法，通常被称为“幻觉”这些错误可能会在无意中传播错误信息或有害地延续误解。此外，手动对模型响应进行事实核查是一个耗时的过程，这使得获取人类真实性标签的成本很高。在这项工作中，我们对语言模型进行了微调，使其更加真实，没有人为的标记，并且与过去的工作相比，针对的是更开放的一代环境。我们利用NLP最近的两项关键创新来做到这一点。首先，最近的几项工作提出了通过测量与外部知识库的一致性或简单地测量大型模型的置信度来判断开放式文本的真实性的方法。其次，直接偏好优化算法能够使用对可能的模型响应的偏好排序，在监督模仿之外的目标上直接微调语言模型。我们表明，与RLHF或针对真实性的解码策略相比，从通过现有检索系统或我们新颖的无检索方法生成的自动生成的真实性偏好排名中学习，可以显著提高Llama-2在未决主题上的真实性（生成的正确声明的百分比）。在7B量表中，与Llama-2-chat相比，我们观察到在生成传记和回答医学问题时，事实错误率分别降低了58%和40%。