Context Tuning for Retrieval Augmented Generation-优快云博客

本文是LLM系列文章，针对《Context Tuning for Retrieval Augmented Generation》的翻译。

用于检索增强生成的上下文调整

摘要
1 引言
2 相关工作
3 方法
4 结果
5 结论
局限性

摘要

大型语言模型（LLM）具有通过几个例子解决新任务的非凡能力，但它们需要访问正确的工具。检索增强生成（RAG）通过检索给定任务的相关工具列表来解决这个问题。然而，RAG的工具检索步骤要求所有必需的信息都明确地出现在查询中。这是一个限制，因为广泛采用的工具检索方法语义搜索在查询不完整或缺乏上下文时可能会失败。为了解决这一限制，我们提出了RAG的上下文调整，它使用智能上下文检索系统来获取相关信息，从而改进工具检索和计划生成。我们的轻量级上下文检索模型使用数字、分类和习惯用法信号来检索和排序上下文项目。我们的实证结果表明，上下文调整显著增强了语义搜索，在recall@k分别用于上下文检索和工具检索任务，并使基于LLM的计划器准确性提高11.6%。此外，我们还表明，我们提出的使用LambdaMART的倒数秩融合（RRF）的轻量级模型优于基于GPT-4的检索。此外，我们观察到，即使在工具检索之后，在计划生成时上下文增强也会减少幻觉。

1 引言

2 相关工作

3 方法

4 结果

5 结论

我们的工作引入了上下文调优，这是一种新的组件，通过为其配备基本的上下文搜索功能来解决不完整或指定不足的查询，从而增强基于RAG的规划。通过对应用于轻量级模型和LLM的各种检索方法的系统比较，我们展示了上下文调整在提高上下文理解方面的有效性。我们的经验观察表明，当不应用微调时，CoT增强增强了上下文检索，而微调检索模型则消除了CoT增强的