AI人工智能的学习之路

自我修正型Corrective RAG是提升RAG系统的常用技巧。它通过引入检索文档的自评估步骤，确保生成回答的相关性。顶部动图演示了完整流程！现在就来动手实现吧！代码已开源

混合搜索如同“搜索界的瑞士军刀”，结合了关键词的效率和语义的智能。无论是电商、企业知识库还是学术研究，它都能让搜索体验从“勉强能用”升级到“真香警告”。想继续深造？向量搜索指南RAG技术详解。

本代码实现了一种针对PDF文档处理的语义分块方法，该方法最初由Greg Kamradt提出，后由LangChain团队实现。与传统基于固定字符或单词数量的文本分割方式不同，语义分块旨在创建更具意义且上下文感知的文本片段。传统文本分割方法常在任意位置切断文档，可能破坏信息流的连贯性和上下文关联。语义分块通过尝试在更自然的断点处分割文本来解决这个问题，从而保持每个文本块内部的语义连贯性。文档预处理通过自定义的函数读取PDF并将其转换为字符串格式。语义分块使用LangChain的结合OpenAI嵌

本代码实现了一个混合检索系统，将基于向量的相似性搜索与基于关键词的BM25检索相结合。该方法旨在综合两种技术的优势，提升文档检索的整体质量和相关性。

本代码实现了一种用于向量数据库文档检索的上下文丰富窗口技术。它通过为每个检索到的文本块添加周边上下文，增强了标准检索过程，从而提升返回信息的连贯性和完整性。

本文带大家利用LlamaIndex实现一个基础的检索增强生成（RAG）系统，用于处理并查询PDF文档。该系统采用流水线设计，通过文档编码和节点创建构建向量索引，从而实现相关信息检索。

基于LangChain框架构建的GraphRAG，通过FAISS向量库、LLMChainExtractor和PromptTemplate等组件实现文档分块、知识图谱构建与智能检索。系统采用Dijkstra算法遍历图谱节点，结合ChatOpenAI生成答案，并通过可视化工具展示推理路径。测试表明，它能准确回答"气候变化主因"等复杂问题，且推理过程完全透明，显著提升了RAG系统的上下文理解能力。

在检索增强生成（RAG）中，我们经常会遇到用户原不准确义信息。例如，像“2020年NBA冠军是洛杉矶湖人队！告诉我什么是langchain框架？”这样的查询，如果直接搜索，可能会从大语言模型（LLM）中得到错误或无法回答的响应。因此，将用户查询的语义空间与文档的语义空间对齐至关重要。查询重写技术可以有效解决这个问题。它在RAG中的作用如图1所示：查询重写是对齐查询和文档语义的关键技术。目前这方面有五大门派，各有绝技。

有没有想过可以直接向 PDF 或技术手册提问？想象一下，你不再需要逐页翻阅那些枯燥的文档，而是像和一位知识渊博的朋友聊天一样，轻松获取信息。本指南将向你展示如何使用（一个开源推理工具）和（一个用于运行本地 AI 模型的轻量级框架）构建一个**检索增强生成（RAG）**系统。别担心，即使你不是技术大牛，跟着我一步步来，你也能搞定！

嘿，亲爱的算法工程师们！咱们今天可是经历了一场RAG技术的“进化论”大冒险！从传统的RAG到Adaptive-RAG，再到RQ-RAG，咱们的LLM（大语言模型）可是从“小学生”一路升级成了“博士生”！🎓。

Self-RAG通过学习检索、批判和生成文本来提升生成质量、事实性和可验证性。Self-RAG。按需检索：当模型需要检索时，例如查询“美国各州的名字是怎么来的？”（图1右上角），模型的输出会包含一个**[Retrieve]**标记，表示需要检索相关内容。反之，当被要求“写一篇关于你最好的暑假的作文”（图1右下角）时，模型会选择直接生成答案，无需检索。并行生成：模型同时使用提示和检索到的内容生成输出。在此过程中，三种反思标记用于指示检索内容的相关性。评估与选择。

表格解析就像谈恋爱，得耐心、细心，还得有技巧！Nougat 虽然慢，但它是个“表格解析界的慢热型选手”，专治各种不服！RAG 系统是个“表格问答小能手”，但前提是你得把表格解析得明明白白！工具是死的，思路是活的。不要依赖某个工具，而是要根据需求找到最合适的解决方案。如果表格太大，超过了 LLM 的上下文长度，别忘了用分块处理哦！

嘿，各位AI探险家们！今天咱们聊聊RAG（检索增强生成）中的“重新排序”技术，这玩意儿简直就是RAG的“智能过滤器”！想象一下，你在开卷考试中面对一堆参考资料，重新排序就像是你那个超靠谱的朋友，帮你从海量资料中挑出最相关的几本，让你答题又快又准！：这货就像是个“相关性评分器”，专门给文档和查询的关系打分。虽然目前可选的模型不多，但像Cohere和bge-reranker这样的选手已经表现得很不错了。特别是bge-reranker，虽然是个开源模型，但实力不输付费选手！

在RAG中，我们首先需要将文档解析成结构化的数据，然后将其拆分成更小的块，以便提取详细的特征并进行嵌入表示。传统的分块方法通常是基于规则的，比如固定大小的分块或相邻分块的重叠。然而，这些方法在实际应用中可能会遇到一些问题，比如检索上下文不完整或分块过大导致噪声过多。语义分块的目标是确保每个分块尽可能包含语义上独立的信息。这样一来，RAG模型在检索和生成时就能更加精准地找到相关信息，避免“捡了芝麻丢了西瓜”的情况。