大模型- 检索增强七宗罪

前言

地址：https://arxiv.org/pdf/2401.05856.pdf 标题：Seven Failure Points When Engineering a Retrieval Augmented Generation System

这篇论文介绍了如何设计一个检索增强生成系统（RAG），作者通过对三个不同领域的案例研究，总结了七个失败点并提出了相关建议。此外，作者还指出了验证RAG系统只能在运行期间完成以及其鲁棒性随时间推移而不断发展的两个关键要点。最后，作者列出了关于RAG系统的研究方向，以供软件工程社区参考。

问题

RAG系统中，容易造成失败的7个点，已经在红色框中标出

FP1 缺失的内容

内容信息缺失情况下系统的无中生有，在询问不能从现有文档中回答的问题时。在理想情况下，RAG 系统会以“抱歉，我不知道”之类的拒绝响应。然而，对于与内容相关但没有答案的问题，系统可能无中生有。

FP2 高度相关的文档没有被找到

问题的答案在文档中，但排名没有高到足以返回给用户。在实践中，优化排序算法，并返回前K个文档。

FP3 不在上下文中 

数量限制，从数据库中检索到包含答案的文档，但因为返回的数量多，会出现没有进入生成答案的上下文。

FP4 没有提取出来

答案在上下文中给出，但大型语言模型未能正确提取出答案。通常这种情况发生在上下文中有太多噪音、后者存在矛盾的信息时。

<