JaydenAI的博客

RAG技术在帮助LLM推理私有数据集方面展现出潜力，例如企业的专有研究、业务文档或通信记录。传统的RAG利用向量相似度有效地解决这个问题，我们一般将其称为`Baseline-RAG`，它在某些情况下表现非常糟糕。为了解决这个问题，技术界正在努力开发扩展和增强RAG的方法。微软研究院的新方法`GraphRAG`基于输入语料库创建知识图谱。该图谱与社区摘要和图机器学习输出一起，用于在查询时增强提示信息。

重排序（Re-ranking）是一种关键的RAG优化技术。它通过在“初始检索”与“最终生成”之间，通过对初步检索出的文档进行二次评估，筛选出与用户查询语义最相关的结果，从而提高生成内容的准确性。在典型的检索流程中，第一步通常使用向量相似度搜索，虽然速度极快，但由于只对比向量间的距离，往往难以捕捉深层的语义关系。重排序模型（Reranker）接收用户查询和一组初步检索到的文档，输出每个文档的相关性分数。

“利用LangGraph编写RAG应用”提供的解决方案有一个问题：它将LLM完全视为一个完全无状态的函数在用，因为调用的输入都只有一条单一的消息，并没有之前交谈的历史，这样的好处是减少输入，降低成本。但这将导致LLM因缺乏上下文不能从之前的“失败”中学习，我们可以将create_agent默认采用的“面向交谈历史”的实现方式应用到LangGraph的编程模式上。

在让“LLM在指定的上下文范围内回答问题”一文中，我们利用LangChain(`create_agent`工厂函数)编写了一个简单RAG应用，这是一个将指定博文内容作为上下文的QA应用。现在我们使用LangGraph的编程模式重现实现它，并额外添加检索内容相关度评估和查询重写的功能。

向量存储是RAG解决方案的核心，目前市面上由很多向量存储产品，由免费开源的，也有商业闭源的；有本地部署的，也有完全云托管的；有传统数据库产品推出的针对向量存储的扩展，也有新势力专门针对向量存储设计的新产品。基于所有的VectorStore都提供了对应的检索器，后者可以以一个Runnable对象的形式作为LCEL链上的一环。

被分割的文本切片需要转换成向量保存在`VertorStore`中，才能实现基于自然语言的相似度检索。`VectorStore`是RAG架构的核心组件。它的主要作用是存储和检索非结构化数据的“语义特征”。

在RAG（检索增强生成）系统中，文档加载器和文本分割器是数据预处理阶段的两个核心组件，决定了系统最终能检索到什么质量的内容。文档加载器的主要任务是“数据摄取”，将各种格式的外部非结构化数据导入RAG管道，并转换为统一的文档格式。由于大语言模型有上下文窗口限制，且过长的文本会降低检索精度，分割器负责将加载好的长文档“切片”成更小的块。

大模型（LLM）具有两大的局限：一是它不知道自己不知道，所以我们发现它经常天马行空、一本正经地胡说八道，这就是所谓的“幻觉”；二是模型具有的知识在训练生成的那一刻就已经冻结，知识体系不会继续更替。RAG是目前针对这两个问题的主要解决方案。RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了信息检索和文本生成的AI技术架构。它通过为大型语言模型（LLM）外挂一个“知识库”，让模型在回答问题前先去查询相关资料，从而有效解决了模型回答“胡编乱造”和知识滞后的问题。