Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented

本文是LLM系列文章，针对《Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation》的翻译。

摘要

检索增强生成（RAG）通过合并来自检索的附加信息来增强大型语言模型（LLM）。然而，研究表明，LLM在有效使用检索到的信息方面仍然面临挑战，甚至忽视或被其误导。关键原因是LLM的训练并没有清楚地使LLM学会如何使用不同质量的输入检索文本。在本文中，我们提出了一个新的视角，将LLM在RAG中的作用视为“信息精炼器”，这意味着无论检索到的文本的正确性、完整性或有用性如何，LLM都可以始终如一地将知识整合到检索到的文本和模型参数中，以生成比检索到的更简洁、准确和完整的文本。为此，我们提出了一种名为INFO-RAG的信息细化训练方法，该方法以无监督的方式优化RAG的LLM。INFO-RAG是一种低成本、通用的各种任务。对11个数据集在不同任务（包括问答、Slot-Filling、语言建模、对话和代码生成）中的零样本预测进行的广泛实验表明，INFO-RAG平均将LLaMA2的性能提高了9.39%的相对点。INFO-RAG在上下文学习和RAG的稳健性方面也显示出优势。

1 引言

2 相关工作

3 我们的INFO-RAG

4 实验

5 结论

本文提出了一个新的视角来重新评估LLM在RAG中的作用，将LLM视为“信息细化器”。这意味着，无论检索到的文本的正确性、完整性或有用性如何，LLM都可以始终如一地将知识整合到模型参数和检索到的文档中，以生成更简洁、准确和完整的文档。为了实现这一点，我们提出了一种以无监督