FrenzyTechAI的博客

文章《RAG-MCP: Mitigating Prompt Bloat in LLM Tool Selection via Retrieval-Augmented Generation》探讨了大语言模型（LLM）在调用外部工具时面临的挑战，特别是随着工具数量的增加，Prompt膨胀和决策过载问题。为了解决这些问题，论文提出了RAG-MCP框架，该框架通过引入检索增强生成（RAG）技术，动态检索与用户查询最相关的工具，从而减少注入到LLM上下文中的工具信息量，提升工具选择的准确性和效率。RAG-MCP的核心思

是WhyHow.AI团队最近开源的一款专注于知识图谱构建和管理的创新工具平台。作为一个完整的知识图谱解决方案，它不仅提供了图谱构建的核心功能，更重要的是首次将 RAG（检索增强生成）的理念深度整合到知识图谱的构建过程中。这种创新的融合方式，让知识图谱的构建和应用有了更多可能性。与传统的知识图谱工具相比，Knowledge Graph Studio 的与众不同之处在于它的"RAG原生"设计理念。它不仅支持传统的三元组存储和查询，还能够保持文本块、实体和关系之间的紧密关联，确保了知识溯源的完整性。

LazyGraphRAG是一种革新性的图形增强检索方法，采用"延迟处理"策略，通过动态调整搜索范围和推迟LLM使用，实现了成本与性能的最优平衡。这种创新方法不仅降低了部署门槛，还显著提升了查询效率。

在人工智能技术的发展历程中，Agentic RAG的出现标志着一个重要的里程碑。这一创新技术不仅仅是对传统RAG系统的升级，更代表着AI应用模式的根本性变革。通过引入多Agent协作机制，Agentic RAG从本质上重构了AI系统的信息处理方式，使其能够更贴近人类的决策思维模式。在实际应用中，Agentic RAG展现出了多维度的突破性优势。在知识管理层面，它突破了传统系统的局限，实现了知识的智能协同；在服务交互方面，将被动响应转变为主动理解；在专业技术领域，实现了知识的智能调用；

自2022年底ChatGPT掀起AI革命以来，大语言模型（LLM）技术快速迭代发展，从GPT-4到Claude 2，从文心一言到通义千问，大模型技术以惊人的速度发展。然而，在企业实际应用场景中，在企业探索大模型技术落地的过程中，和成为了两大主要技术方案。到底应该如何有成本和预算可控的情况下，又能基于当前的技术成熟度和应用边界来选择和确定一套可行的大模型技术验证方案，成为技术决策者面临的重要课题。

LangChain 还预定义了其他编程语言（如 Go、C++、Java）等的分割符列表，方便用户快速定义新的文本切块类。如果需要处理未提供的文本格式，可以参照已有的类实现。自定义示例：创建一个用于切分 Java 代码的文本切块类。"\n\n", # 空行"\n", # 换行", # 语句结束" ", # 空格"" # 无分隔符text = "..." # 待处理的 Java 代码print(doc)通过自定义分割符列表和参数设置，可以灵活地适应不同格式文本的切分需求。

包阅AI 的核心竞争力在于其强大的内容解析和知识还原能力。实现高质量的摘要总结是 RAG 技术落地的关键挑战之一，而这恰恰是包阅AI的强项。它能够精准解析多种复杂且多样化的文档格式，包括PDF、Word、PPT、图片、网页链接甚至视频音频等，无论内容结构多么复杂、排版多么混乱，包阅AI 都能准确识别并提取关键信息，快速还原文档的核心知识，避免了信息偏差带来的误导，为后续的摘要总结、问答对话等功能打下坚实的基础。

是一个企业级的RAG检索器，将多种搜索技术整合到一个平台中。在MTEB数据集上的实验表明，Denser Retriever可以显著提升向量搜索（VS）的基线（snowflake-arctic-embed-m模型, 在MTEB/BEIR排行榜达到了最先进的性能）。它来自Denser.ai公司，创始人是黄志恒，曾担任 AWS 首席科学家，领导过 Amazon Kendra 和 Amazon Business Q 项目，截至 2024 年7 月，他的谷歌学术被引用次数超过 13,700 次。

RAGFlow v0.9 的发布，标志着知识图谱增强型 RAG 系统 (RAG 2.0) 的全新时代正式开启。GraphRAG 作为其中的先行者，展现了 LLM 驱动下的知识图谱构建技术所蕴含的巨大潜力。它不仅为 RAG 系统注入了更强大的语义理解和知识推理能力，也为智能问答、语义搜索、知识发现等领域的应用打开了新的大门。GraphRAG 之所以能够取得成功，很大程度上得益于它对传统知识图谱构建流程的简化，使其更容易在实际工程中落地。

首先，我们定义一个 GraphState 类来表示图的状态，该状态包含三个关键属性：input、generation 和 documents。其中，input 属性存储用户输入的问题，generation 属性存储大语言模型根据输入生成的答案，documents 属性存储相关文档列表。"""表示图的状态。question: 问题generation: LLM 生成documents: 文档列表"""input: str。

从依赖自身“记忆”到学会“查资料”，再到拥有“知识地图”，Graph RAG 的出现，标志着 AI 问答技术进入了一个全新的阶段。传统的 RAG 技术虽然能够为 LLM 提供更丰富的知识来源，但它就像一个只会“照本宣科”的学生，缺乏对知识的真正理解。而 Graph RAG 则赋予了 AI 更强大的推理能力和逻辑思维能力，让 AI 能够像人类一样理解世界、解决问题。当然，Graph RAG 也并非完美无缺。它的性能很大程度上取决于知识图谱的质量和覆盖范围。

Dify 支持 OpenAI 的 GPT 系列和 Anthropic 的 Claude 系列等主要模型提供商。每个模型的功能和参数各不相同，请选择适合您应用程序需求的模型提供商。您需要在使用模型提供商的 API 密钥之前，从模型提供商的官方网站获取。以下以 OpenAI 的 API 密钥为例进行说明。使用 API 密钥可以使用更多模型。如果您需要集成开源模型，Dify 也支持。例如，您可以通过 Hugging Face 或 Ollama 集成开源模型。

检索增强生成 (RAG) 系统已经成为构建基于大语言模型 (LLM) 应用的强大方法。RAG 系统的工作原理是：首先使用检索模型从外部知识源检索相关信息，然后使用这些信息来提示 LLM 生成最终的响应。然而，基本的 RAG 系统（也称为朴素 RAG）在处理需要对多条信息进行推理的复杂查询时可能会遇到挑战。多步骤检索的出现正是为了解决这一问题。在多步骤检索中，系统会跨多个步骤或“跳跃”收集信息，以回答复杂的问题或收集详细信息。这种技术在高级问答系统中很常见，其中多个来源或文档包含回答问题所需的信息。构建多步骤

LightRAG是一个开源的 PyTorch 库，专为简化检索器-代理-生成器 (RAG)管道的构建和优化而设计。它提供了一个轻量级、模块化且高度可读的框架，使开发者能够轻松地创建和定制强大的大语言模型应用程序。LightRAG 框架的核心特点：LightRAG 将 RAG 管道分解为三个核心组件：检索器、代理和生成器。每个组件都设计为独立且可插拔的模块，开发者可以根据需求轻松地替换、修改或扩展。

LongRAG 框架创新性地解决了传统检索增强生成（RAG）框架中检索器负担过重的问题，通过引入“长检索单元”、“长检索器”和“长阅读器”，将完整的维基百科文章处理成 4K Token 的单元，将语料库大小缩减了 97% 以上，从而显著提升了检索效率和整体性能。LongRAG 的优势主要体现在：在 NQ 和 HotpotQA 数据集上，LongRAG 无需复杂排序机制即可分别实现 71% 的 Recall@1 和 72% 的 Recall@2，远超传统的短文本检索方法。

Cognita 是一个开源、模块化的应用程序，它被设计用于生产环境，并且结合了信息检索增强生成（Retrieval-Augmented Generation，简称 RAG）技术。RAG 是一种人工智能技术，它通过结合检索（检索相关信息）和生成（生成新内容）的方式来增强模型的性能。Cognita 的设计目标是在完全定制化和适应性之间取得平衡，同时确保用户友好性。它考虑到了 RAG 和 AI 技术的快速发展，因此在设计时注重了可扩展性，以便能够无缝集成新的技术突破和不同的应用场景。

RAG（检索增强生成）应用最具挑战性的方面之一是如何处理复杂文档的内容，例如 PDF 文档中的图像和表格，因为这些内容不像传统文本那样容易解析和检索。前面我们有介绍过如何使用LlamaIndex提供的LlamaParse技术解析复杂PDF文档（文档中包含图片和表格）LlamaParse 技术整体来看，对于PDF文档常规文本的提取还是比较准确的，但对于表格内容的处理，检索准确率依然还存在比较大的空间。

本文深入探讨了 RAG（Retrieval-Augmented Generation）检索策略中的高级查询重写技术。其中重点介绍了子问题查询、HyDE 查询转换、Query2doc、回溯提示和迭代检索生成等五种查询重写策略。这些策略的目的是通过重新构造查询来更准确地定位相关信息，从而提高 RAG 系统的检索效率和答案的精确度。通过 LlamaIndex 提供的代码示例，文章展示了如何实现这些策略，并分享了一些实用技巧。在实际应用中，选择合适的查询重写方法需要根据具体问题和性能要求来权衡。

Vanna，是一款革命性的AI SQL智能体，可以将复杂的SQL查询简化为日常语义对话。在生成式AI的助力下，Vanna 让数据库查询变得前所未有的简单和直观。它是基于 OpenAI 和 Google 提供的大语言模型（LLM）。Vanna 通过预训练模型，结合你的数据库进行微调，可以快速帮你量身打造一个定制化的AI助手。Vanna 是一个获得 MIT 许可的开源 Python RAG（检索增强生成）框架，用于 SQL 生成和相关功能。GitHub 已经高达7200 颗星。

近年来，随着自然语言处理和信息检索技术的不断发展，RAG（Retrieval-Augmented Generation）模型受到了越来越多的关注。RAG模型通过将知识检索与语言生成相结合，展现出了在处理复杂查询任务方面的巨大潜力。spRAG 是由 SuperpoweredAI 团队开发的一个专门用于处理密集非结构化文本数据的RAG框架，特别适用于处理复杂查询，如财务报告、法律文件和学术论文等。与传统的RAG模型相比，spRAG 在处理复杂查询任务方面表现出了显著的优势。