自然语言处理:第三十三章FILCO：过滤内容的RAG

文章链接: [2311.08377] Learning to Filter Context for Retrieval-Augmented Generation (arxiv.org)

项目地址: zorazrw/filco: [Preprint] Learning to Filter Context for Retrieval-Augmented Generaton (github.com)

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!
写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

在人工智能领域，尤其是在开放域问答和事实验证等任务中，即时检索相关知识是构建可靠系统的关键因素。然而，由于检索系统并非完美，生成模型在面对部分或完全无关的段落时仍需生成输出，这可能导致对上下文的过度或不足依赖，并在生成的输出中产生幻觉等问题。为了缓解这些问题，提出了一种名为FILCO的方法，该方法通过（1）基于词汇和信息论方法识别有用的上下文，以及（2）训练上下文过滤模型以便在测试时过滤检索到的上下文。在六个知识密集型任务中使用FLAN-T5和LLaMa2模型进行实验，证明了FILCO方法在提取式问答（QA）、复杂多跳和长形QA、事实验证以及对话生成任务上优于现有方法。FILCO有效地提高了上下文的质量，无论其是否支持规范输出。

背景

检索增强型生成方法已被证明对于许多知识密集型语言任务是有效的，它们能够产生更忠实、可解释和可泛化的输出。尽管检索系统通常将检索到的顶级段落无条件地提供给生成模型，但这些系统往往返回不相关或分散注意力的内容。这导致生成模型在训练时容易产生幻觉或虚假记忆:

1. 过度依赖上下文 ：生成模型可能会过度依赖检索到的段落，即使这些段落包含分散注意力的内容或与问题仅有微弱关联。
2. 幻觉和错误记忆 ：由于检索系统返回的内容不准确或不相关，生成模型可能会产生幻觉，即生成与真实情况不符的信息，或产生错误记忆，即使用错误信息生成输出。

FILCO（Filtering Context for Retrieval-Augmented Generation）方法针对上述问题提出了创新的解决方案，通过以下两个方面显著提升了性能：