Context Tuning for Retrieval Augmented Generation-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134987952

本文介绍了一种名为上下文调优的方法，旨在改进检索增强生成（RAG）在处理不完整查询时的性能。通过引入轻量级的上下文检索模型，利用数字、分类和习惯用法信号，该方法能更有效地检索和排序上下文信息，从而提高RAG的工具检索和计划生成的准确性。实验证明，上下文调优能显著增强语义搜索，减少幻觉，并且在某些情况下优于基于GPT-4的检索系统。然而，当前工作仍存在局限，如未考虑会话历史，这限制了模型处理复杂任务和话题转变的能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Context Tuning for Retrieval Augmented Generation》的翻译。

摘要

大型语言模型（LLM）具有通过几个例子解决新任务的非凡能力，但它们需要访问正确的工具。检索增强生成（RAG）通过检索给定任务的相关工具列表来解决这个问题。然而，RAG的工具检索步骤要求所有必需的信息都明确地出现在查询中。这是一个限制，因为广泛采用的工具检索方法语义搜索在查询不完整或缺乏上下文时可能会失败。为了解决这一限制，我们提出了RAG的上下文调整，它使用智能上下文检索系统来获取相关信息，从而改进工具检索和计划生成。我们的轻量级上下文检索模型使用数字、分类和习惯用法信号来检索和排序上下文项目。我们的实证结果表明，上下文调整显著增强了语义搜索，在recall@k分别用于上下文检索和工具检索任务，并使基于LLM的计划器准确性提高11.6%。此外，我们还表明，我们提出的使用LambdaMART的倒数秩融合（RRF）的轻量级模型优于基于GPT-4的检索。此外，我们观察到，即使在工具检索之后，在计划生成时上下文增强也会减少幻觉。