为什么RAG应用很难落地?细说RAG系统开发关键痛点和解决方案

12个RAG痛点和建议的解决方案 12个RAG痛点和建议的解决方案---解决检索增强生成的核心挑战 阅读详情

受 Barnett 等人所著的《Seven Failure Points When Engineering a Retrieval Augmented Generation System》一文启发,本文将探讨其中提到的几个关键问题。更重要的是,我们将深入探讨如何应对这些 RAG 系统中的挑战,以便在日常开发中更好地解决这些问题。

格式错误

当我们告诉计算机以某种特定格式(比如表格或JSON)来整理信息,但大型语言模型(LLM)没能按照预期输出。为了更好地引导计算机理解我们的需求,我们可以通过以下方法来确保得到想要的格式:

更精准的prompt

  • 让指令更加明确。
  • 简化问题并突出关键词。
  • 提供示例。
  • 循环提问,不断细化问题

解析输出

  • 为任何查询提供格式化指南。
  • 对计算机的回答进行“解析”。

LlamaIndex 支持与其他框架如 Guardrails 和 LangChain 提供的输出解析模块集成。

  • Guardrails:https://docs.llamaindex.ai/en/stable/module_guides/querying/structured_outputs/output_parser.html#guardrails
  • LangChain:https://docs.llamaindex.ai/en/stable/module_guides/querying/structured_outputs/output_parser.html#langchain

具体使用方法,可参考:https://docs.llamaindex.ai/en/stable/module_guides/querying/structured_outputs/output_parser.html

在这里插入图片描述

pydantic

Pydantic 程序是一个多用途框架,它可以把输入的文字串转换成结构化的 Pydantic 对象。LlamaIndex 提供了多种 Pydantic 程序:

  • LLM 文本完成 Pydantic 程序(LLM Text Completion Pydantic Programs):这些程序处理输入文本,并将其变成用户定义的结构化对象,它结合了文本完成 API 和输出解析功能。
  • LLM 函数调用 Pydantic 程序(LLM Function Calling Pydantic Programs):这些程序根据用户的需求,将输入文本转换成特定的结构化对象,这一过程依赖于 LLM 函数调用 API。
  • 预设的 Pydantic 程序(Prepackaged Pydantic Programs):这些程序被设计用来将输入文本转换成预先定义好的结构化对象。

具体使用方法,请参考 OpenAI 的 Pydantic 程序示例代码 https://docs.llamaindex.ai/en/stable/examples/output_parsing/openai_pydantic_program.html 更多信息请查阅 LlamaIndex 的 Pydantic 程序文档,并可以访问不同程序的笔记本/指南链接 https://docs.llamaindex.ai/en/stable/module_guides/querying/structured_outputs/pydantic_program.html
在这里插入图片描述

OpenAI JSON模式

OpenAI 的 JSON 模式允许我们设置 response_format 为 { “type”: “json_object” },以此激活响应的 JSON 模式。一旦启用了 JSON 模式,计算机就只会生成能够被解析为有效 JSON 对象的字符 串。尽管 JSON 模式规定了输出的格式,但它并不确保输出内容符合特定的规范。想了解更多, 请查看 LlamaIndex 关于 OpenAI JSON 模式与数据提取功能调用的文档。

内容缺失问题

当实际答案不在知识库中时,RAG 系统往往给出一个貌似合理却错误的答案,而不是承认无法给出答案。这导致用户接收到误导性信息,造成错误的引导。如何解决内容缺失问题?

1. 优化数据源

“输入什么,输出什么。”如果源数据质量差,比如充斥着冲突信息,那么无论你如何构建 RAG 流程,都不可能从杂乱无章的数据中得到有价值的结果。

2. 改进提示方式

在知识库缺乏信息,系统可能给出错误答案的情况下,改进提示方式可以起到显著帮助。例如,通过设置提示“如果你无法确定答案,请表明你不知道”, 可以鼓励模型认识到自己的局限并更透明地表达不确定性。虽然无法保证百分百准确,但在优化数据源之后,改进提示方式是我们能做的最好努力之一。

错过排名靠前的文档

有时候系统在检索资料时,最关键的文件可能并没有出现在返回结果的最前面。这就导致了正确答案被忽略,系统因此无法给出精准的回答。

即:“问题的答案其实在某个文档里面,只是它没有获得足够高的排名以致于没能呈现给用户”

为了解决这个问题,我们有两种解决思路:

1 .重新排名检索结果

在将检索到的结果发送给大型语言模型(LLM)之前,对结果进行重新排名可以显著提升RAG的性能。LlamaIndex的一个笔记本展示了两种不同方法的效果对比:

  • 直接检索前两个节点,不进行重新排名,这可能导致不准确的检索结果
  • 先检索前十个节点,然后使用CohereRerank进行重新排名,最后返回前两个节点,这种方法可以提高检索的准确性

2. 调整chunk_size和相似度排名similarity_top_k

chunk_size和similarity_top_k都是用来调控 RAG(检索增强型生成)模型数据检索过程中效率和 效果的参数。改动这些参数能够影响计算效率与信息检索质量之间的平衡。

脱离上下文 — 整合策略的限制

论文中提到了这样一个问题:“虽然数据库检索到了含有答案的文档,但这些文档并没有被用来生成答案。这种情况往往出现在数据库返回大量文档后,需要通过一个整合过程来找出答案” 。那么我们的解决方案有哪些呢?

1. 优化检索策略

以 LlamaIndex 为例,LlamaIndex 提供了一系列从基础到高级的检索策略,以帮助我们在 RAG 流程中实现精准检索。欲了解所有检索策略的详细分类,可以查阅 retrievers 模块的指南

  • 从每个索引进行基础检索
  • 进行高级检索和搜索
  • 自动检索
  • 知识图谱检索器
  • 组合/分层检索器
  • 更多其他选项!

2. 微调embedding模型

如果你使用的是开源嵌入模型,对其进行微调是提高检索准确性的有效方法。LlamaIndex 提供了 一份详尽的指南,指导如何一步步微调开源嵌入模型,并证明了微调可以在各项评估指标上持续改进性能。(https://docs.llamaindex.ai/en/stable/examples/finetuning/embeddings/finetune_embedding.html ) 下面是一个示例代码片段,展示了如何创建微调引擎、执行微调以及获取微调后的模型:

在这里插入图片描述

未能提取答案

当系统需要从提供的上下文中提取正确答案时,尤其是在信息量巨大时,系统往往会遇到困难。关键信息被遗漏,从而影响了回答的质量。论文中提到:“这种情况通常是由于上下文中存在太多干扰信息或相互矛盾的信息” 。如何解决未能提取答案问题呢?

1 .清理数据

这一痛点再次凸显了数据质量的重要性。我们必须再次强调,干净整洁的数据至关重要!在质疑RAG 流程之前,务必先要清理数据。

2 .上下文压缩

LongLLMLingua 研究项目/论文中提出了 长上下文设置中的提示压缩技术 。通过将其集成到 LlamaIndex 中,我们现在可以将 LongLLMLingua 作为节点后处理步骤,在检索步骤之后压缩上 下文,然后再将其输入大语言模型。以下是一个设置 LongLLMLinguaPostprocessor 的示例代码片段,它利用 longllmlingua 包来执行提示压缩。更多详细信息,请查阅 LongLLMLingua 的完整文档:https://docs.llamaindex.ai/en/stable/examples/node_postprocessor/LongLLMLingua.html#longllmlingua。

在这里插入图片描述

3. LongContextReorder重排

一项研究(https://arxiv.org/abs/2307.03172)发现,当关键信息位于输入上下文的开始或结尾 时,通常能得到最好的性能。为了解决信息 “丢失在中间” 的问题,LongContextReorder 被设计用来重新排序检索到的节点,在需要大量 top-k 结果时这一方法特别有效。以下是如何定义 LongContextReorder 作为您查询引擎构建时节点后处理器的示例代码。

在这里插入图片描述

回答过于宽泛

有时候,我们得到的回答可能缺少必要的细节或特定性,这通常需要我们进一步提问来获取清晰的信息。有些答案可能过于含糊或泛泛,不能有效地满足用户的实际需求。为此,我们需要采用更高级的检索技巧。

当答案没有达到你所期待的详细程度时,你可以通过提升检索技巧来改善这一状况。以下是一些有助于解决这个问题的先进检索方法:

  1. 从细节到全局的检索:https://docs.llamaindex.ai/en/stable/examples/retrievers/auto_merging_retriever.html
  2. 围绕特定句子进行的检索:https://docs.llamaindex.ai/en/stable/examples/node_postprocessor/MetadataReplacementDemo.html
  3. 逐步深入的检索:https://docs.llamaindex.ai/en/stable/examples/query_engine/pdf_tables/recursive_retriever.html

回答不全面

有时候我们得到的是部分答案,并不是说它们是错误的,但它们并没有提供所有必要的细节,即便这些信息实际上是存在并且可以获取的。比如,如果有人问:“文档A、B和C中都讨论了哪些主要内容?”针对每份文档分别提问可能会得到更为全面的答案。那么如何解决回答不全面问题呢?

在简单的RAG模型中,比较性问题往往处理得不够好。一个提升RAG推理能力的有效方法是加入一个查询理解层——也就是在实际进行向量存储查询之前进行查询优化。以下是四种不同的查询优化方式:

  • 路由优化:保留原始查询内容,并明确它所涉及的特定工具子集。然后,将这些工具指定为合适的选择。
  • 查询改写:保持选定工具不变,但重新构思多种查询方式,以适应同一组工具。
  • 细分问题:将大问题拆分成几个小问题,每个小问题都针对根据元数据确定的不同工具
  • ReAct Agent 工具选择:根据原始查询内容,确定使用哪个工具,并构造针对该工具的特定查 询。

关于如何使用假设性文档嵌入(HyDE)这一查询改写技术,您可以参考下方示例代码。在这种方 法中,我们首先根据自然语言查询生成一个假设性文档或答案。之后,我们使用这个假设性文档来进行嵌入式查找,而不是直接使用原始查询。具体可以参考:https://python.langchain.com.cn/docs/modules/chains/additional/hyde

数据处理能力的挑战

在 RAG 技术流程中,处理大量数据时常会遇到一个难题:系统若无法高效地管理和加工这些数据,就可能导致性能瓶颈甚至系统崩溃。这种处理能力上的挑战可能会让数据处理的时间大幅拉长,系统超负荷运转,数据质量下降,以及服务的可用性降低。

LlamaIndex 推出了一种数据处理的并行技术,能够使文档处理速度最多提升 15 倍。下面的代码示例展示了如何创建数据处理流程并设置num_workers,以实现并行处理。
在这里插入图片描述

总结

在开发RAG应用时,我遇到了许多痛点。由于篇幅有限,我之前只提到了其中的八个问题。然而,实际上这些仅仅是冰山一角,RAG领域的挑战还远远不止这些。每一个痛点都值得深入探讨和解决。例如,如何有效地处理结构化数据查询,如何选取最适合的备选模型,以及如何确保大语言模型的安全性等。这些都是我在团队开发过程中曾经遇到并努力解决过的问题。未来,我会抽出时间分享更多我在这个领域的经验和踩过的坑,希望能为大家在实践中提供参考。

​

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

RAG关键痛点及解决方案 当实际答案不在知识库中时,RAG系统往往给出一个貌似合理却错误的答案,而不是承认无法给出答案。这导致用户接收到误导信息,造成错误的引导。如何解决:1、优化数据“输入什么,输出什么”如果源数据质量差,比如充斥着冲突信息,那么无论你如何构建RAG流程,都不能从杂乱无章的数据中得到有价值的结果;2、改进提示方式在知识库缺乏信息,系统可能给出错误答案的情况下,改进提示方式可以起到显著帮助。 阅读详情

相关推荐

Cloudflare 5秒盾逆向实战:13次请求背后的Python补环境框架搭建指南

本文深入解析了如何通过Python构建浏览器环境模拟框架,以应对Cloudflare 5秒盾等现代Web防护机制。文章详细拆解了其背后复杂的13次请求链,涵盖了JavaScript执行引擎集成、DOM事件模拟、网络请求控制及Canvas指纹等环境检测的完整实现方案,为自动化数据采集和逆向工程提供了实战指南。

gold的博客 356

10个最流行的RAG开发框架

检索增强生成 (RAG) 已成为增强大型语言模型功能的强大技术。RAG 框架将基于检索的系统与生成模型的优势相结合,从而实现更准确、更了解上下文和更最新的响应。随着对复杂 AI 解决方案的需求不断增长,GitHub 上出现了许多开源 RAG 框架,每个框架都提供独特的功能和能力。简化的RAG 工作流程检索增强生成 (RAG) 是一种 AI 框架,它通过整合外部知识源来增强大型语言模型 (LLM) 的功能。

新缸中之脑 6012

TI AWR2944毫米波雷达开发板开箱:用官方Demo快速上手3D点云与热图生成

本文详细介绍了TI AWR2944毫米波雷达开发板的开箱与实战应用,包括硬件准备、软件开发环境搭建、Demo固件刷写与配置、实时可视化与数据解析等全流程指南。通过官方Demo快速上手3D点云与热图生成,帮助开发者高效掌握毫米波雷达技术在工业检测、智能交通等领域的应用。

weixin_42627853的博客 312

RAG 系统完全指南:从基础到高级实践

RAG 的核心思想是将信息检索与生成模型相结合。在传统的 LLM 应用中,模型仅依赖训练时学到的知识来回答问题,这导致了知识更新困难、回答可能过时或不准确等问题。而 RAG 系统通过在生成回答前主动检索相关信息,将实时、准确的知识作为上下文提供给模型,从而显著提升了回答的质量和可靠性。RAG 技术最显著的优势在于其知识的时效性和可追溯性。通过持续更新知识库,系统可以始终掌握最新信息,而无需重新训练模型。同时,每个回答都能追溯到具体的信息来源,这极大地提升了系统的可信度和实用性。

qingkahui24689的博客 1389

UE5新手必看:如何在UMG控件中嵌入浏览器实现Web页面展示(附完整步骤)

本文为UE5新手提供了在UMG控件中无缝集成Web浏览器的完整实战指南。详细介绍了从启用WebBrowser插件、创建并配置WebBrowser控件蓝图,到编写动态加载与交互逻辑,以及在游戏关卡中实例化UI的全过程。文章还分享了性能优化技巧与常见问题排查方法,帮助开发者高效实现游戏UI内的Web页面展示与交互。

weixin_29243063的博客 713

从零到一:3D Slicer与MONAI在医学影像中的AI革命

本文探讨了3D Slicer与MONAI在医学影像分析中的革命性应用,展示了如何通过开源工具实现高效的三维影像处理和AI增强分析。结合临床案例,详细介绍了从数据准备到AI分析的全流程,显著提升诊断效率和精度,推动医学影像技术迈向新纪元。

tcp8optimizer的博客 342

RAG 开发者全栈指南:从 “搜索 + LLM” 到完整工程化生态的演进

RAG已从临时解决方案发展为完整技术栈,涵盖数据提取、嵌入生成、向量存储、模型调度等7大层级。其核心价值是为大模型提供实时更新、专属定制的安全外部记忆,解决幻觉、知识更新和私有数据落地问题。生产级RAG需搭建全链路工程体系,而非简单拼接工具,关键在于数据质量、检索准确率和持续评估优化。当前RAG生态已成熟,开发者可根据场景选择各层工具,但需避免过度依赖大模型或忽视评估体系的误区。未来RAG将向标准化基础设施演进,掌握其完整技术栈成为AI时代核心竞争力。

释迦呼呼的博客 1202

200、从反激到LLC:工程师的成长之路

文章摘要: 本文以工程师视角探讨从反激式到LLC电源设计的思维转变。通过48V通信电源故障案例,揭示LLC谐振电容ESR温度特性引发的隐患,强调LLC需精确计算与测试。对比反激与LLC的核心差异:反激需控制寄生参数(如漏感尖峰、电容ESR),而LLC的关键在于频率响应和死区时间优化。作者提出三大思维转变:从匝比计算转向增益曲线分析,从时域波形观察转向频域频谱诊断,从元件更换转向参数调整。最后给出实战建议,包括建立故障库、关注元件参数细节及示波器调试技巧,指出工程师需从"控制"思维升级为"谐振"思维,实现技术

Jack010169的博客 325

RAG 知识库开发全攻略:从原理到实战,初学者也能轻松掌握

本文全面解析RAG(检索增强生成)技术开发流程,旨在构建精准可靠的AI知识库系统。主要内容包括:1)掌握RAG核心逻辑,解决LLM知识滞后问题;2)技术原理剖析,包括向量转换、Top-K检索等关键环节;3)实战开发全流程,涵盖文档加载分块、向量工程、数据库选型等;4)以电商客服系统为例,演示环境搭建、数据处理到问答集成的完整实现。文章强调RAG的核心价值在于通过工程化手段确保AI回答的可追溯性,并提供部署优化建议,为开发者构建可信AI系统提供实用指南。

会飞的架狗师的博客 1929

YOLOv11改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题

本文记录的是改进YOLOv11的损失函数,将其替换成Slide Loss,并详细说明了优化原因,注意事项等。Slide Loss函数可以有效地解决样本不平衡问题,为困难样本赋予更高的权重,使模型在训练过程中更加关注困难样本。若是在自己的数据集中发现容易样本的数量非常大,而困难样本相对稀疏,可尝试使用Slide Loss来提高模型在处理复杂样本时的性能。

Limiiiing的博客 4571

基于深度学习的CT图像肺结节分割与检测系统[完整代码数据分享]

基于深度学习的CT图像肺结节分割与检测系统[完整代码数据分享]

275

3000字!一文看懂什么是RAG

检索增强生成(RAG)是一种用于构建大型语言模型(LLM)驱动型应用的技术。它借助外部知识源,为大型语言模型提供相关背景信息,从而减少幻觉现象。就好比给 LLM 配备了一个小型的“资料库”,当用户提出问题时,系统会在资料库中查找相关内容并提供给 LLM,以帮助其生成更准确的回答。基本的 RAG 流程包括检索组件(通常由嵌入模型和向量数据库组成)和生成组件(大型语言模型)。在推理阶段,用户问题用于在已索引的文档上执行相似性搜索,检索出与问题最相似的文档,并为大型语言模型提供额外的背景信息。

m0_59164304的博客 1356

YOLOv8改进 | Conv篇 | 利用YOLO-MS的MSBlock轻量化网络结构(既轻量又长点)

本文给大家带来的改进机制是利用YOLO-MS提出的一种针对于实时目标检测的MSBlock模块,我们将其用于C2f中组合出一种新的结构,来替换我们网络中的模块可以达到一种轻量化的作用,我将其用于我的数据集上实验,包括多个类别的数据集,其在轻量网络结构的同时,却能够提高一定的mAP精度,所以这是一种十分高效的模块,该网络结构非常适合那些模型精度已经无法提到,想要从轻量化模型的角度入手的读者使用。欢迎大家订阅本专栏,本专栏每周更新3-5篇最新机制,更有包含我所有改进的文件和交流群提供给大家。

Snu77的博客 6097

12个RAG痛点和建议解决方案

Neutrino 目前支持。此外,您可以微调自定义的重新排序器,以获得更好的检索性能,详细的实现已在《通过与LlamaIndex微调Cohere Reranker来改善检索性能》中记录。准确解释用户查询以检索相关的结构化数据可能会很困难,特别是对于复杂或含糊不清的查询、不灵活的文本到SQL转换以及当前LLMs在有效处理这些任务方面的限制。在使用 LLMs 时,您可能会想知道,如果您的模型遇到问题,比如与OpenAI的模型发生速率限制错误,您需要一个备用模型作为主要模型发生故障的替代方案。

myboyliu2007的专栏 2464

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

12个RAG常见痛点及解决方案

我们探讨了在开发RAG管道过程中的12个痛点(其中7个来自论文,另外5个来自我们的总结),并针对这些痛点提出了相应的解决方案。下面是本文的引用参考作者:Wenqi Glantz。

deephub 5726

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

基于LlamaIndex解决RAG的关键痛点

我们讨论了开发 RAG 应用时的 12 个痛点(论文中的 7 个加上另外 5 个),并为它们每一个都提供了相应的解决方案。请看下图,这是根据原论文《Seven Failure Points When Engineering a Retrieval Augmented Generation System》中的图表修改而来的。我们把所有 12 个 RAG 痛点及其解决方案汇总到一张表中,现在我们得到了:虽然这份列表并未涵盖所有内容,但它旨在揭示在设计和实施RAG系统过程中所面临的复杂挑战。

FrenzyTechAI的博客 3066

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

RAG 开发四大痛点及解决方案

知识库缺乏必要的上下文信息,导致 RAG 系统在无法找到确切答案时,可能会提供模棱两可的错误信息,而不是直接表明其无知。这种情况下,用户可能会接收到误导性的信息,从而感到沮丧。针对这一问题,有以下两种解决方案:

2401_85327249的博客 6996

RAG 开发的痛点及解决方案

本文探讨了开发 RAG 流水线过程中的 12 个痛点( 论文中的 7 个痛点和另外 5 个痛点 ),并针对所有痛点提出了相应的解决方案。请参阅下图,该图改编自论文《 设计检索增强生成系统时的七个故障点 》中的原图:

weixin_58753619的博客 1090
上一篇: AI产品经理 | 如何用AI提高产品经理的工作效率
下一篇: 9行代码开发一个基于ollama的私有化RAG
冻感糕人~
博客等级 码龄3年 8926粉丝 2399原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值