【论文解读】《Seven Failure Points When Engineering a Retrieval Augmented Generation System》

最新推荐文章于 2025-05-28 19:43:46 发布
最新推荐文章于 2025-05-28 19:43:46 发布
阅读量577 收藏 10
点赞数 13
文章标签： 深度学习 人工智能 python RAG LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_30731313/article/details/145987907
版权

论文链接：https://arxiv.org/pdf/2401.05856

论文解读：构建检索增强生成系统中的七个失败点

一、背景与研究动机

随着大语言模型（LLM）如 ChatGPT 的出现，软件工程师开始尝试将检索机制与生成能力结合，构建 检索增强生成（Retrieval Augmented Generation, RAG） 系统。RAG 系统的主要目标是：

  • 降低 LLM 生成幻觉性回答的风险，
  • 提供答案的引用来源，
  • 避免为文档人工标注元数据的需求。

论文旨在通过三个不同领域（科研、教育、生物医学）的案例研究，揭示在工程实践中构建 RAG 系统时所遇到的主要失败点，并探讨系统在运行过程中需要不断调整与验证的挑战。

二、RAG 系统的工作流程

在这里插入图片描述

RAG 系统通常分为两个主要流程：索引过程 和 查询过程。

1. 索引过程（Index Process）

  • 文档预处理与分块
    将原始文档拆分成若干较小的片段（chunks）。分块大小需要精心设计：
    • 过小可能导致信息不全，无法回答复杂问题；
    • 过大则可能引入噪音。
  • 嵌入生成
    对每个分块使用嵌入模型将其转换成一个向量表示，即 $embedding$。这些嵌入向量存入一个向量数据库，便于后续检索。

2. 查询过程（Query Process）

  • 查询转换
    用户提出的自然语言查询会先通过预处理转换成一个标准化查询，然后再生成其嵌入表示。
  • 相似度检索
    利用余弦相似度等方法比较查询向量和文档向量：
    cos ⁡ ( θ ) = A ⋅ B ∥ A ∥ ∥ B ∥ \cos(\theta) = \frac{A \cdot B}{\|A\|\|B\|} cos(θ)=∥A∥∥B∥A⋅B​
    检索出最相似的 Top- k k k 文档。
  • 上下文整合与回答生成
    将检索到的文档作为上下文传递给大语言模型，经过定制化的提示（prompt），生成最终的回答。由于 LLM 存在 token 限制和响应速率限制，通常还需要设计有效的整合（Consolidation）策略，以保证所选上下文能够包含正确的答案。

三、案例研究简介

论文中通过三个案例研究展示了 RAG 系统在不同领域中的应用与挑战：

  • Cognitive Reviewer
    面向科研文献分析的系统，帮助研究者对上传的相关论文进行排序和问答。
  • AI Tutor
    教育领域的 RAG 系统，集成到学习管理系统中，支持学生对学习内容提问，并提供可追溯答案来源。
  • Biomedical Question and Answer
    使用 BioASQ 数据集构建的生物医学问答系统，针对领域特定的问题进行回答，考验系统在大规模文献中提取信息的能力。

四、论文提出的七个失败点

论文总结了在构建 RAG 系统时可能遇到的七个关键失败点，每个失败点都反映了实际应用中的一个重要问题：

  1. FP1：缺失内容 (Missing Content)
    当问题在已有文档中没有答案时，系统应返回“对不起，我不知道”，但有时系统可能生成看似合理但错误的回答。

  2. FP2：未检索到排名靠前的文档 (Missed the Top Ranked Documents)
    虽然正确答案存在于某个文档中，但由于排序算法或设定的 Top- k k k 限制，该文档未能被包含在检索结果中。

  3. FP3：上下文整合失败 (Not in Context - Consolidation Strategy Limitations)
    即使相关文档已被检索，整合过程（例如在多个文档中筛选出最佳信息）未能将答案有效整合进上下文中，导致 LLM 无法生成正确回答。

  4. FP4：答案未被正确抽取 (Not Extracted)
    答案实际上存在于上下文中，但由于上下文中噪音过多或信息冲突，LLM 无法正确提取出关键内容。

  5. FP5：格式错误 (Wrong Format)
    当问题要求以特定格式（例如表格或列表）回答时，LLM 有时会忽略这一要求，生成格式不正确的回答。

  6. FP6：回答具体性不匹配 (Incorrect Specificity)
    系统生成的回答可能过于笼统或反之，过于具体，不能满足用户特定的需求。这在教育领域尤为明显，教师往往需要更具针对性的解释。

  7. FP7：回答不完整 (Incomplete)
    答案虽然部分正确，但缺少关键信息，无法全面回答用户的问题。例如，当用户询问多个文档的关键点时，最好分开提问以获得完整答案。

五、经验教训与未来研究方向

论文从实际案例中总结出两大关键经验：

  • 验证必须在运行中进行
    离线评估往往无法揭示所有问题，只有在系统实际运行时才能发现并验证各种失败点。

  • 稳健性需要不断演化
    RAG 系统的鲁棒性并非一开始就能设计好，而是在不断的实际应用与校准中逐步提高。

未来研究方向包括：

  1. 分块与嵌入策略的优化

    • 探讨启发式分块（例如基于标点、段落结束）与语义分块的优劣。
    • 研究如何生成更适用于特定领域的嵌入表示。

  2. RAG 与微调（Finetuning）的比较

    • 分析两者在准确性、延迟、成本及隐私安全方面的权衡，帮助工程师选择最适合的系统架构。

  3. 测试与监控方法的改进

    • 建立自动化生成测试用例与评估指标（例如利用 OpenAI 的 OpenEvals 框架）。
    • 结合自适应系统的思想，实现系统的实时监控和动态调优。

六、总结

论文为软件工程师在构建 RAG 系统时提供了一个宝贵的经验总结，通过三个不同领域的案例研究，揭示了从文档分块、嵌入生成、检索、整合到回答生成过程中可能遇到的七大失败点。未来的研究需要在分块策略、嵌入质量、系统验证和实时监控等方面进行更多探索，才能实现更加鲁棒和高效的 RAG 系统。

k layc
关注
Seven Failure Points When Engineering a Retrieval Augmented Generation System
c_cpp_csharp的专栏
11-14 292
软件工程师越来越多地使用一种称为检索增强生成 （RAG） 的策略向应用程序添加语义搜索功能。RAG 系统涉及查找在语义上与查询匹配的文档，然后将文档传递给大型语言模型 （LLM），例如 ChatGPT，以使用 LLM 提取正确答案。RAG 系统旨在：a） 减少 LLM 的幻觉反应问题，b） 将来源/参考文献链接到生成的响应，以及 c） 消除使用元数据注释文档的需要。然而，RAG 系统存在信息检索系统固有的限制和对 LLM 的依赖。
Vector | Graph：蚂蚁首个开源Graph RAG框架设计解读
南七小僧的学海无涯
08-09 891
RAG的目标是通过知识库增强内容生成的质量，通常做法是将检索出来的文档作为提示词的上下文，一并提供给大模型让其生成更可靠的答案。更进一步地，RAG的整体链路还可以与提示词工程（Prompt Engineering）、模型微调（Fine Tuning）、知识图谱（Knowledge Graph）等技术结合，构成更广义的RAG问答链路。增强训练REALM引入了知识检索器增强大模型预训练，以改进大模型的问答质量和可解释性。增强微调RA-DIT实现了对大模型和检索器的双指令微调，RAFT。
论文笔记：Seven Failure Points When Engineering a Retrieval AugmentedGeneration System
qq_40206371的博客
03-24 581
CAIN 2024。
【论文阅读】Seven Failure Points When Engineering a Retrieval Augmented Generation System
qq_41502855的博客
07-13 1093
论文从软件工程的角度，通过对3个case study的研究，总结出rag的7个故障点。
《设计 RAG 系统时需要考虑的七个失败点》论文 AI 解读
明明如月的技术博客
08-03 1454
周末使用 AI 速度了一篇 RAG 相关的论文，文中提到的【设计 RAG 系统时需要考虑的七个失败点】非常有价值，简单整理一下分享出来，大家如果感兴趣可以继续阅读原文。论文名称：Seven Failure Points When Engineering a Retrieval Augmented Generation System论文中文名：工程检索增强生成系统时的七个失败点。
RAG常见七大坑
weixin_43564920的博客
01-27 1821
软件工程师越来越多地使用一种被称为检索增强生成（Retrieval Augmented Generation，RAG）的策略向应用程序添加语义搜索功能。RAG系统涉及查找在语义上与查询匹配的文档，然后将这些文档传递给大型语言模型（LLM），例如ChatGPT，以提取正确的答案。RAG系统的目标是：a）减少LLM产生虚构响应的问题，b）将来源/参考链接到生成的响应，c）消除对文档进行元数据标注的需求。然而，RAG系统存在信息检索系统固有的局限性，并依赖于LLM。
大模型- 检索增强七宗罪
chazhongxinbitc的博客
02-17 1181
标题：Seven Failure Points When Engineering a Retrieval Augmented Generation System这篇论文介绍了如何设计一个检索增强生成系统（RAG），作者通过对三个不同领域的案例研究，总结了七个失败点并提出了相关建议。此外，作者还指出了验证RAG系统只能在运行期间完成以及其鲁棒性随时间推移而不断发展的两个关键要点。最后，作者列出了关于RAG系统的研究方向，以供软件工程社区参考。
RAG系统“一周出demo，三月用不好“
AI人工智能的学习之路
03-16 1092
随着大语言模型（LLM）的广泛应用，检索增强生成（RAG）技术作为一种结合检索技术和LLM提示的创新架构，因其在结合外部知识库和生成模型方面的卓越表现而备受关注。RAG系统通过将LLM与结构化或非结构化的外部数据源相结合，显著提升了生成内容的准确性、相关性和可信度。RAG在聊天机器人、知识密集型任务和企业应用中表现出色。然而，从理论到工程实践，开发和优化一个高效的RAG系统并非易事，RAG系统面临着诸多挑战。本文将系统性分析RAG系统的开发难点与优化路径。
RAG——应用——七个最常见的故障点
fan_fan_feng的专栏
01-29 1130
近日，国外研究者发布了一篇论文《Seven Failure Points When Engineering a Retrieval Augmented Generation System》，探讨了在实际工程落地RAG应用过程中容易出的七类问题。论文地址：https://arxiv.org/pdf/2401.05856.pdf。
12个RAG常见痛点及解决方案
python12345_的博客
06-26 1820
可扩展性在RAG管道中，数据摄取可扩展性问题指的是当系统在处理大量数据时遇到的挑战，这回导致性能瓶颈和潜在的系统故障。这种数据摄取可扩展性问题可能会产生摄取时间延长、系统超载、数据质量问题和可用性受限等问题。所以就需要进行并行化处理，LlamaIndex提供摄并行处理功能可以使文档处理速度提高达15倍。结构化数据质量准确解释用户查询以检索相关的结构化数据是困难的，特别是在面对复杂或模糊的查询、不灵活的文本到SQL转换方面LlamaIndex提供了两种解决方案。
基于pycharm,python,flask,sklearn,orm,mysql，在线深度学习sql语句检测系统
xxcxyxxd的博客
05-24 818
详细视频:【基于pycharm,python,flask,sklearn,orm,mysql，在线深度学习sql语句检测系统-哔哩哔哩】 https://b23.tv/JLQDwNn。
三维点云深度学习代码torch-points3d-SiamKPConvVariants复现记录（持续更新中）
最新发布
WH_G_Y的博客
05-28 512
三维点云深度学习代码torch-points3d-SiamKPConvVariants复现记录（持续更新中）
使用LSTM进行时间序列分析
weixin_37522117的博客
05-28 420
LSTM（长短期记忆网络）是一种专为时间序列数据设计的循环神经网络，通过门控机制（输入门、遗忘门、输出门）和细胞状态有效捕捉长期依赖关系。相比传统方法，LSTM能更好处理时间序列的非线性、噪声和长期模式。典型应用流程包括数据生成（如带噪声的正弦波）、滑动窗口预处理、PyTorch模型构建（含LSTM层和全连接层）、训练及预测可视化。实验显示LSTM能准确预测时间序列趋势。其优势在于长期依赖性建模、鲁棒性强，并可扩展为双向LSTM、堆叠LSTM等变体。LSTM已成为时间序列分析的核心工具之一。
计算机视觉与深度学习 ｜ 基于 YOLOv8 + BeautyGAN + CodeFormer + Face Parsing 实现简单的人脸美颜
尘世冰封的专栏
05-24 343
以下是一个基于YOLOv8、BeautyGAN、CodeFormer和Face Parsing的完整人脸美颜实现方案。包含算法流程、完整代码实现（附详细注释）和核心公式说明。该实现方案完整覆盖从人脸检测到美颜输出的全流程，代码经过模块化设计便于扩展。Face Parsing皮肤分割。CodeFormer细节增强。BeautyGAN皮肤美化。YOLOv8人脸检测。
Nat Rev Genet | 如果DNA序列能“说话”？深度学习S2E（序列2表达）模型正在听懂基因组的调控秘密！
组学之心，专注多组学/ 医学AI 领域
05-24 1153
基因转录调控： 基因转录受启动子和增强子等DNA元件调控，其活性又受**转录因子（TFs）**控制。高度复杂的组合逻辑： 调控网络涉及TFs和调控元件之间复杂的组合作用，使得仅从DNA序列预测基因活性的计算模型构建异常困难。
MMR-Mamba：基于 Mamba 和空间频率信息融合的多模态 MRI 重建|文献速递-深度学习医疗AI最新文献
weixin_38594676的博客
05-28 693
Title题目MMR-Mamba: Multi-modal MRI reconstruction with Mamba and spatial-frequency information fusionMMR-Mamba：基于 Mamba 和空间频率信息融合的多模态 MRI 重建01文献速递介绍磁共振成像（MRI）因其无创、无辐射特性以及能够通过不同模态提供高分辨率形态学信息，成为重要的临床成像技术（Stoja等人，2021）。在临床实践中，具有互补信息的多模态MR图像被同步采集，以实现更准确的疾病诊断和治
Retrieval Augmented Generation
01-08
### Retrieval Augmented Generation in NLP Models and Applications #### Definition and Concept Retrieval Augmented Generation (RAG) is a method that integrates retrieval-based and generation-based approaches, particularly useful for tasks requiring the reproduction of specific information. This technique leverages content pertinent to solving an input task as context, enabling more accurate knowledge retrieval which subsequently aids in generating better responses through iterative refinement processes [^1]. In addition, RAG significantly reduces model hallucination by grounding generated outputs on factual data retrieved from external sources or databases [^2]. #### General Process The general process of applying RAG within Natural Language Processing (NLP) involves several key steps: - **Contextual Information Collection**: Gathering relevant documents or pieces of text related to the query. - **Knowledge Retrieval**: Using these collected contexts to find precise facts or statements needed for response formulation. - **Response Generation**: Generating coherent answers based on both the original prompt and the retrieved information. This approach ensures that the final output not only addresses user queries accurately but also remains grounded in verified facts rather than potentially unreliable internal representations learned during training [^1]. #### Implementation Example Below demonstrates how one might implement a simple version of this concept using Python code snippets alongside popular libraries like Hugging Face Transformers for natural language understanding and FAISS for efficient similarity search among large document collections. ```python from transformers import pipeline import faiss import numpy as np def create_index(documents): """Creates an index structure suitable for fast nearest neighbor searches.""" embeddings = get_embeddings_for_documents(documents) dimensionality = len(embeddings[0]) # Initialize Faiss Index Flat L2 distance metric index = faiss.IndexFlatL2(dimensionality) # Add vectors into our searchable space index.add(np.array(embeddings).astype('float32')) return index def retrieve_relevant_contexts(query_embedding, index, top_k=5): """Finds most similar items given a query vector against indexed dataset""" distances, indices = index.search(np.array([query_embedding]).astype('float32'), k=top_k) return [(distances[i], idx) for i,idx in enumerate(indices.flatten())] # Assume `get_embeddings` function exists elsewhere... index = create_index(corpus_of_texts) qa_pipeline = pipeline("question-answering") for doc_id, score in retrieve_relevant_contexts(user_query_vector, index): answer = qa_pipeline(question=user_input, context=corpus_of_texts[doc_id]['text']) print(f"Answer found with relevance {score}: ",answer['answer']) ``` --related questions-- 1. What are some common challenges faced when implementing RAG systems? 2. Can you provide examples where RAG has been successfully applied outside traditional QA settings? 3. How does Graph Retrieval-Augmented Generation differ from standard RAG methods described here? 4. In what ways can integrating knowledge graphs enhance performance in RAG frameworks?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值