SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133949005

本文介绍了一种名为SELF-RAG的新框架，旨在通过自适应检索和自我反思增强大型语言模型（LLM）。与传统检索增强生成方法相比，SELF-RAG在减少事实不准确、提高生成质量和真实性的任务中表现出色，特别是在开放域QA、推理和事实验证方面超越了先进模型如ChatGPT和检索增强的Llama2。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION》的翻译。

摘要

尽管大型语言模型（LLM）具有非凡的能力，但由于它们仅依赖于所封装的参数知识，因此它们通常会产生包含事实不准确的响应。检索增强生成（RAG）是一种通过检索相关知识来增强LM的特别方法，减少了此类问题。然而，不分青红皂白地检索和合并固定数量的检索段落，无论检索是否必要，或者段落是否相关，都会削弱LM的通用性，或者可能导致无益的响应生成。我们引入了一个新的框架，称为自反射检索增强生成（Self-RAG），通过检索和自反射来提高LM的质量和真实性。我们的框架训练单个任意LM，该LM根据需要自适应地检索段落，并使用称为反射token的特殊token生成和反映检索到的段落及其自己的生成。生成反射token使LM在推理阶段可控，使其能够根据不同的任务需求调整其行为。实验表明，SELFRAG（7B和13B参数）在不同的任务集上显著优于最先进的LLM和检索增强模型。具体而言，SELF-RAG在开放域QA、推理和事实验证任务上优于ChatGPT和检索增强的Llama2聊天，并且相对于这些模型，它在提高长形式生成的真实性和引用准确性