一种比chunking更高效的RAG检索策略，（非常详细）从零基础到精通，精通收藏这篇就够了！

最新推荐文章于 2025-07-29 18:00:39 发布
最新推荐文章于 2025-07-29 18:00:39 发布
阅读量874 收藏 12
点赞数 7
CC 4.0 BY-SA版权
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Libra1313/article/details/148476577

RAG框架的核心在于将文档分割成独立的块（chunks），然后通过检索过程识别与给定查询相关的块，并将检索到的块（以及查询）作为提示传递给合成模型LLM以生成所需的响应。然而，检索步骤可能成为性能瓶颈，因为错误的块可能导致合成LLM生成错误的响应（garbage in，garbage out）。

为了解决这个问题，提出了一种零样本（zeroshot）适应标准密集检索步骤的方法，以提高块的准确召回（recall）。具体来说，将块分解为原子陈述（atomic statements），然后基于这些原子生成一组合成问题（以块作为上下文），通过密集检索找到与用户查询最接近的合成问题集合及其相关的块。

使用原子单位基于问题的检索，用于企业RAG

各环节（query改写，原子化，问题生成）的prompt

使用了重新格式化的SQuAD数据集来评估RAG框架。该数据集包含2,067个块和10,570个查询。

使用原子单位进行检索可以显著提高检索的准确率。特别是，通过生成针对原子的合成问题，可以进一步提高检索的准确率。例如，在R@1（即正确块在检索结果中排名第一的比例）上，使用结构化原子文本的检索准确率从65.5%提高到70.2%，而_使用合成问题进一步提高到73.8%_。

Atom-Structured：使用块的自然结构，将每个句子视为一个独立的原子。Atom-Unstructured：原子生成系统（例如，针对指令微调的大型语言模型）被要求生成原子陈述，以最好地捕捉块中的所有信息。

这种方法不需要额外的训练，可以零样本地应用于企业RAG系统中，以提高对公司文档的自动化查询性能。未来的工作将扩展到不同领域的数据集，包括金融和医疗领域。

Question-Based Retrieval using Atomic Units for Enterprise RAG``https://github.com/OpenBMB/MiniCPM-Vhttps://arxiv.org/pdf/2405.12363

## AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2025最新版优快云大礼包：《AGI大模型学习资源包》免费分享

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2025最新版优快云大礼包：《AGI大模型学习资源包》免费分享

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2025最新版优快云大礼包：《AGI大模型学习资源包》免费分享

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2025最新版优快云大礼包：《AGI大模型学习资源包》免费分享

四、AI大模型商业化落地方案

img

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2025最新版优快云大礼包：《AGI大模型学习资源包》免费分享

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

黑客大白
关注
2024年11月大数据月报
SmartSi
12-01 1684
2024年11月数据月报，为您准备了阿里、字节、百度等大厂140多篇实践案例
《文科生也能懂：AI大模型黑话百科全书：从懵圈到上头》​
xxedts的博客
06-08 970
Part 1初识巨人与他们的小伙伴们。
2024年5月22日Arxiv最新大语言模型相关论文
数智笔记
05-22 2022
原标题作者机构: 英国法律：AI对判决书的主题建模的案例研究霍莉·萨金特、艾哈迈德·伊兹迪恩和费利克斯·斯特菲克摘要: 本文通过开发和应用一个新颖的分类法来处理法律分析中的一个关键空白，该分类法用于主题建模英国的判决案件。利用一个经过筛选的判决案件数据集，我们使用大语言模型Claude 3 Opus来探索功能性主题和趋势。我们发现Claude 3 Opus以87.10%的准确率正确分类了主题。分析揭示了在各种法律领域中应用判决的明显模式。
【2025版】一种比chunking更高效的RAG检索策略，从零基础到精通，精通收藏这篇就够了！
Javachichi的博客
03-05 1031
*RAG框架**的核心在于将文档分割成独立的块（**chunks**），然后通过检索过程识别与给定查询相关的块，并将检索到的块（以及查询）作为提示传递给合成模型LLM以生成所需的响应。然而，检索步骤可能成为**性能瓶颈**，因为错误的块可能导致合成LLM生成错误的响应（**garbage in，garbage out**）。
2024版最新大模型RAG入门及实践，零基础入门到精通，收藏这篇就够了
Python_paipai的博客
10-14 922
在大语言模型（LLM）飞速发展的今天，LLMs 正不断地充实和改进我们周边的各种工具和应用。如果说现在基于 LLM 最火热的应用技术是什么，检索增强生成（）技术必占据重要的一席。RAG 最初是为了解决 LLM 的各类问题的产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的解决方案。在介绍 RAG 之前，我们先来看一下现在LLM存在的问题。说了这么多，下面我们来介绍一下什么是 RAG。
RAG优化大法：20+招式助你玩转大模型应用！从零基础到精通，收藏这篇就够了！
A1_3_9_7的博客
07-15 396
大语言模型（LLMs）已经火到出圈，简直成了我们工作和生活中的“万金油”！它们聪明又全能，和信息的互动方式都被它们给颠覆了。不过，可别以为LLMs就无敌了。它们有时候也会“抽风”，给你整出些“幻觉”，要么就是抱着过时的信息不撒手，遇到专业问题就“掉链子”，逻辑推理能力也时常让人捉急。在现实世界中，数据得像“窜天猴”一样更新，生成的内容还得像“玻璃罩”一样透明可追溯，不然成本控制和数据隐私就都成了“老大难”。所以，光靠这些“黑盒”模型可不行，咱得有更精细的“武器”来应对这些挑战。
一篇RAG技术最新综述，（非常详细）从零基础到精通，精通收藏这篇就够了！
Python_0011的博客
06-06 571
检索增强生成（RAG）的出现，利用外部知识数据库来增强LLMs，弥补了LLMs的幻觉问题、知识更新等问题：系统地介绍了RAG的每个组成部分，特别是和重要技术，以及带有教程代码的检索融合技术。展示了不同的，包括。讨论了RAG在下游中的应用。******1. 检索器（Retriever）检索器（Retriever） 是检索增强生成（RAG）中的一个关键组件，其主要作用是从一个外部知识库中检索与输入相关的信息。使用检索器的：将文档分割成小块，对这些块进行编码，并建立索引以支持高效的检索。
【AI大模型入门教程】RAG 架构设计5种分块技术剖析和选型，零基础小白收藏这一篇就够了！！
2401_85325557的博客
06-27 813
RAG （检索增强生成）是企业 AI 大模型应用落地的主要应用形态之一，特别是在智能问答、报告生成、内容审核、Text2SQL、流程自动化和 AI 编程等领域大规模应用和落地 RAG 架构。
什么是RAG？大模型和RAG有什么关系？从零基础到精通，理论与实践结合的最佳路径！
2401_85280106的博客
03-12 704
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与文本生成的技术，旨在提升大语言模型在回答专业问题时的准确性和可靠性。‌核心原理‌‌为 检索+ 生成两阶段流程 ：‌检索阶段‌：将用户的问题转化为向量，从外部知识库或私有文档中(向量数据库)快速检索相关片段。‌生成阶段‌：将检索到的信息输入大模型，生成结合上下文的具体回答‌。
【2025版】带你了解7种检索增强生成 (RAG) 技术，从零基础到精通，精通收藏这篇就够了！
Javachichi的博客
03-04 1534
回顾2024年RAG技术的发展，检索增强生成（Retrieval-Augmented Generation，RAG）技术彻底改变了人工智能模型的工作方式，它将生成式人工智能的优势与检索现实世界文档的精确性相结合。通过从外部来源提取相关数据，RAG使得人工智能能够生成更准确且上下文更合适的答案。
GPT在AI原生应用中的5大实战场景，开发者必看！
2501_92132293的博客
07-28 931
AI原生应用（AI-Native Application）是指从设计之初就将人工智能技术，特别是大语言模型(LLM)，作为核心驱动力的应用。与传统应用"添加AI功能"的模式不同，AI原生应用将LLM深度融入架构设计、数据处理、用户交互和业务逻辑的各个层面。自然语言优先交互：以对话式界面为核心，支持自然、流畅的人机交互上下文感知能力：能够理解用户历史交互和当前场景，提供连贯的个性化服务知识动态更新：通过连接外部知识库和实时数据，保持信息的新鲜度和准确性自主学习与进化。
Redis 键值对操作详解：Python 实现指南
最新发布
AI浩
07-29 567
场景推荐操作替代方案添加小数据SETHSET（对象）添加大数据HSET/MSET分批次添加添加临时数据SETEX删除小数据DELETEUNLINK删除大数据UNLINK无批量操作管道 + MSET/UNLINK单独命令添加操作使用set()添加单个键值对使用mset()批量添加多个键值对使用setex()添加带过期时间的键值对删除操作优先使用unlink()进行删除（尤其大型数据）仅在需要立即释放内存时使用delete()批量删除时结合管道提高效率。
MyBatis-Plus 与 Spring 新手指南
qq_31619295的博客
07-25 1169
泛型机制: 确保类型安全和代码提示继承体系: 提供丰富的基础功能注解映射: 简化配置，提高开发效率Spring集成: 无缝融入Spring生态掌握这些核心概念，就能快速理解和使用MyBatis-Plus进行数据访问层开发。
MySQL 事务管理
puppy_1mo的博客
07-25 1692
摘要 本文系统阐述了MySQL事务的ACID特性及其实现原理。首先指出不加控制的CURD操作可能引发数据不一致问题，通过事务的原子性、一致性、隔离性和持久性可解决这些问题。重点分析了四种隔离级别（读未提交、读提交、可重复读、串行化）的表现差异及对应的并发问题（脏读、不可重复读、幻读）。深入探讨了MVCC机制，包括隐藏字段、undo日志和ReadView的工作原理，解释了可重复读级别如何通过版本链和可见性判断实现事务隔离。最后对比了RC和RR级别下ReadView生成时机的本质区别，说明MySQL默认RR级别
Redis 服务挂掉排查与解决
qq_33665793的博客
07-28 1004
Redis服务挂掉的排查与解决方法 摘要： 当出现"RedisException in Redis.php line 63 Connection refused"错误时，表明Redis服务无法连接。本文总结了常见原因：服务未启动、网络问题、配置错误或内存不足等，并提供了系统的排查步骤：1)检查Redis进程状态；2)查看服务运行状态；3)启动/重启服务；4)检查配置文件；5)查看错误日志。同时介绍了内存调整、防火墙配置和自动重启等解决方案.
Sql server开挂的OPENJSON
清风弄影
07-27 1033
摘要：SQL Server 2019的OPENJSON功能大幅简化了JSON数据处理。相比SQL Server 2008需要自定义表类型来传递表参数的方式，新版本只需将JSON字符串作为参数传递，通过OPENJSON解析即可。该功能支持单层和嵌套JSON结构，可指定字段名称和类型，还能处理复杂层级数据。从SQL Server 2016开始引入的JSON支持，不仅提高了开发效率，还影响了表结构设计，许多原本需要主从表结构的场景现在用单表配合JSON字段就能实现，大大简化了数据库操作。
数据库审计及安全管理的解决方案
Neozsvc的博客
07-28 471
支持 MySQL、MariaDB、Oracle、SQLServer、PostgreSQL、MongoDB、Redis 等多种数据库，无论您的技术栈多么复杂，Next-DBM都能完美适配。
电商项目_核心业务_分布式ID服务
qinwenjng120的博客
07-27 831
第 42~52 位 ：一共 10 位，一般来说，前 5 位表示机房 ID，后 5 位表示机器 ID（实际项目中可以根据实际情况调整），这样就可以区分不同集群/机房的节点，这样就可以表示 32 个 IDC，每个 IDC 下可以有32 台机器。如果是订单号，竞对可以直接知道我们一天的单量。在实际项目中，我们一般也会对 Snowflake 算法进行改造，最常见的就是在算法生成的 ID 中加入业务类型信息。以服务的方式部署（可以不依赖数据库等第三方系统），稳定性更高，生成 ID 的性能也非常高的。
音元分析流程
2302_77644309的博客
07-26 1967
切分与声母联结的调段。切分与声母联结的调段。
rag关键词检索
06-05
<think>嗯，用户现在提出了一个关于RAG（检索增强生成）的需求，看起来用户对检索增强生成的关键词和实现方法感兴趣。首先，我需要回顾一下之前的对话历史。之前用户似乎提到了系统级指令，要求使用特定的LaTeX格式和中文回答，还要生成相关问题。不过当前的查询集中在RAG技术上。用户明确提到要参考站内引用，但系统说明这些引用仅供参考，真正需要关注的是用户当前的问题。用户现在的问题是查找与RAG相关的关键词或实现方法。因此，重点应该放在RAG的核心概念、技术术语以及常用的实现方式上。首先，我需要确定用户可能的背景。用户可能是开发者、研究人员或者刚接触RAG的技术爱好者。由于用户询问关键词和实现方法，可能是在做项目或研究前的资料收集。用户可能希望了解如何搭建一个RAG系统，或者需要关键术语来进一步搜索资料。接下来，我需要梳理RAG的关键组成部分。检索增强生成通常分为检索和生成两个阶段。在检索阶段，重要的技术包括嵌入模型（如BERT、SentenceTransformers）、向量数据库（如Faiss、Milvus、Chroma）、以及检索策略（如密集检索、混合检索）。生成阶段则涉及语言模型（如GPT、Llama）和集成方式。此外，预处理和优化方法也很关键，比如分块策略和查询重写。用户可能还需要具体的实现方法。比如，使用LangChain这样的框架可以简化流程，或者直接通过API调用嵌入模型和向量数据库。是否要提到开源工具和云服务？比如HuggingFace的Transformers库，或者云服务如AzureAISearch，这些对实现有帮助。另外，评估指标如检索召回率、生成相关性也是用户可能关心的，但用户的问题更偏向于实现而非评估，可能需要优先前者。需要判断用户是否需要区分基础实现和高级优化。比如，基础的流程是文本嵌入->向量检索->结果传递给LLM生成。而高级方法可能包括迭代检索、上下文压缩或检索微调。但在回答中应该覆盖这两层，同时将基础部分放在前面，高级部分作为扩展。关键词方面，用户可能希望得到术语列表。比如嵌入模型、向量数据库、大语言模型、分块策略、RAG框架等。还要注意术语的英文对应词，如“hybridretrieval”对应混合检索，方便用户进一步搜索英文资料。最后，生成的相关问题需要考虑用户可能的进一步需求。比如应用场景（客服、文档摘要）、不同方法的优缺点（成本、准确性）、评估方法或框架选择等。这样用户可以根据回答深入探究特定方向。需要确保回答符合之前的系统指令：行内公式用$...$（虽然RAG可能较少需要公式，但如有相关指标如召回率$R@k$可以应用），独立公式用$$...$$。另外，引用文献时添加脚注，如引用原始RAG论文[^1]。同时使用中文，结构清晰分点说明。</think> 以下是与 **RAG（检索增强生成）** 相关的核心关键词和实现方法详解，结合最新技术实践整理： --- ### **一、核心关键词** 1. **检索阶段** - **嵌入模型**：Sentence Transformers、BERT、BGE - **向量数据库**：Faiss、Milvus、Chroma、Pinecone - **检索策略**：密集检索（Dense Retrieval）、稀疏检索（BM25）、混合检索（Hybrid） - **查询重写**：Query Expansion、HyDE（假设性文档嵌入）[^1] 2. **生成阶段** - **大语言模型（LLM）**：GPT-4、Llama 3、Claude - **上下文注入**：Prompt Engineering、ReRanking（如Cohere Rerank） - **知识增强**：External Knowledge Integration、Self-RAG[^2] 3. **系统优化** - **分块策略**：滑动窗口（Sliding Window）、语义分块（Semantic Chunking） - **评估指标**：检索召回率（Recall@k）、答案相关性（BERTScore） - **迭代检索**：Reciprocal Rank Fusion（RRF）、多步检索（Multi-step Retrieval） --- ### **二、主流实现方法** #### **基础流程** ```mermaid graph LR A[用户提问] --> B(查询嵌入) B --> C{向量数据库检索} C --> D[Top-k相关文档] D --> E[文档注入LLM上下文] E --> F[LLM生成答案] ``` #### **关键技术实现** 1. **LangChain框架（Python）** ```python from langchain_community.vectorstores import FAISS from langchain_community.embeddings import HuggingFaceEmbeddings # 1. 加载嵌入模型 embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-base-zh") # 2. 构建向量数据库 docs = ["文本1", "文本2", ...] # 知识库文档 vectorstore = FAISS.from_texts(docs, embeddings) # 3. RAG流程 retriever = vectorstore.as_retriever() results = retriever.get_relevant_documents("用户问题") ``` 2. **LlamaIndex优化方案** - 支持 **分层索引**（知识图谱+向量索引） - 自动查询路由（Query Routing）到最佳数据源 - 细粒度访问控制（按权限过滤文档） 3. **高级技术** - **FLARE架构**：主动检索机制（预测知识缺口触发检索） - **RA-DIT框架**：联合训练检索器与生成器[^3] - **DSPy编程模型**：声明式优化RAG流水线 --- ### **三、开源工具推荐** | 工具名称 | 核心功能 | 适用场景 | |----------------|------------------------------|-------------------| | **LlamaIndex** | 结构化/非结构化数据索引 | 企业知识库 | | **Haystack** | 端到端流水线构建 | 研究原型开发 | | **Quivr** | 本地化私有部署 | 敏感数据处理 | | **Unstructured**| PDF/PPT复杂文档解析 | 多格式文件处理 | --- ### **四、关键挑战与解决方向** 1. **文档边界问题** → 解决方案：动态上下文整合（Dynamic Context Integration） 2. **噪声干扰** → 解决方案：ReRank模块（如BAAI的bge-reranker） 3. **知识实时性** → 解决方案：增量索引更新（Delta Indexing） 4. **多模态检索** → 解决方案：CLIP跨模态嵌入[^4] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值