weixin_45312236的博客

RAG相关目前遇到的痛点及解决流程

本文全面阐述了RAG系统从数据收集、数据清洗（包括领域专有名词处理）、智能数据分块与QA对生成，到向量化、向量数据库选择与配置，再到检索方式及重排序，直至整合输出、监控反馈和安全保障的全流程。通过这一完整方案，旨在为构建高效、稳定且安全的检索增强生成系统提供切实可行的解决方案。

Xinference是一个利用actor编程框架Xoscar来管理机器、设备和模型推理进程的系统。每个actor都是模型推理的基本单元，可以集成多种推理后端。它支持多种推理引擎和硬件，并且具有异步和非阻塞的特性。：使用FastAPI实现，提供了一个示例API/status对应函数get_status。命令行：通过Click实现，允许用户在终端与Xinference进行交互。提供了几个命令行工具，如xinference和。Actor：基于Xoscar框架，可以管理计算资源和Python进程，支持并发编程。

总的来说，RAG是一种增强语言模型回答能力的框架，它通过检索和利用外部知识来生成回答；意图识别是对话理解的一部分，它帮助系统理解用户的意图并作出相应的反应。两者的选择应基于具体的应用需求、系统设计和预期的用户交互方式。两者在构建交互式AI系统中扮演着不同但互补的角色。RAG适合于需要结合大量。

幻觉：在没有答案的情况下提供虚假信息。过时：当用户需要特定的当前响应时，提供过时或通用的信息。来源：从非权威来源创建响应。由于术语混淆，不同的培训来源使用相同的术语来谈论不同的事情，因此会产生不准确的响应。RAG 是解决其中一些挑战的一种方法。它会重定向 LLM，从权威的、预先确定的知识来源中检索相关信息。组织可以更好地控制生成的文本输出，并且用户可以深入了解 LLM 如何生成响应。

文本摘要提取：使用文本摘要技术从文档中提取关键句子或段落，形成摘要。关键词提取：识别文档中的关键词汇或短语，以代表文档的主要内容。元数据生成：可能包括文档的标题、作者、发布日期等信息，以及与文档内容相关的标签或分类。结构化存储：将摘要和元数据以结构化的形式存储在数据库中，如关系数据库或NoSQL数据库。快速检索：通过索引快速访问文档的摘要和关键信息，以评估文档的相关性或作为生成回答的参考。

Langchain 在实现与外部数据对话的功能时需要经历下面的5个阶段，它们分别是：Document Loading->Splitting->Storage->Retrieval->Output，如下图所示：图 4.6.1 访问个人数据全流程完成存储和获取相关文档后，需将文档传递给语言模型以生成答案。流程包括提出问题、检索文档、传递文档和问题给模型、获取答案。默认将所有文档切片传入同一上下文窗口，但存在MapReduce、Refine和MapRerank等方法解决上下文窗口限制问题。

是一个选择器，用于从一组候选示例中选择出与输入最相关且具有多样性的示例。它通过计算示例与输入之间的语义相似度，然后迭代地选择示例，同时对与已选择示例相似度过高的候选项施加惩罚。

RAG（Retrieval-Augmented Generation）是一种结合了检索（Retrieval）和生成（Generation）的模型，用于增强大型语言模型（LLMs）的性能。召回率（Recall）是衡量RAG系统性能的关键指标之一，它表示系统能够检索到的相关文档占所有相关文档的比例。：通过改进召回过程来提高从大规模语料库中检索与给定查询相关的文档的准确性和效率[：在召回过程中纳入查询和文档的上下文信息，可以更准确地判断文档与查询的相似度[

一旦文档被加载，它会被存储在名为pages的变量里。在第二部分，我们利用LangChain加载器从YouTube视频链接下载音频到本地，并用OpenAIWhisperPaser解析器将音频转换为文本。在page变量中，每一个元素都代表一个文档，它们的数据类型是langchain.schema.Document。首先，我们将构建一个 GenericLoader 实例来对 Youtube 视频的下载到本地并加载。接下来，我们将探讨如何加载网页链接，以GitHub上的Markdown文档为例进行学习。

对于希望了解LangChain基础知识的读者，推荐学习《LangChain for LLM Application Development》部分。

在本节，我们将创建和使用自定义时间工具。LangChian tool 函数装饰器可以应用用于任何函数，将函数转化为LangChain 工具，使其成为代理可调用的工具。我们需要给函数加上非常详细的文档字符串, 使得代理知道在什么情况下、如何使用该函数/工具。比如下面的函数time,我们加上了详细的文档字符串。# 导入tool函数装饰器@tool"""返回今天的日期，用于任何需要知道今天日期的问题。输入应该总是一个空字符串，\这个函数将总是返回今天的日期，任何日期计算应该在这个函数之外进行。"""

【代码】#langchain | RAG |富文本一致性解析 | NLP # langchain支持的9种PDF内容提取方式。

【文章简介】在信息技术快速发展的今天，有效处理和分析文本数据变得尤为重要。Markdown文件因其简洁性和可读性，在知识共享和文档编写中扮演着关键角色。然而，传统的文本分割方法未能充分利用Markdown的结构化特性，导致信息提取和知识理解的效率受限。本文提出一种基于Langchain的结构化分割方法，通过MarkdownHeaderTextSplitter工具，按标题层级精确分割文档，保留关键的结构和上下文信息，特别适合报告和教程等结构化文档。

Runnable接口的一个关键优点是，任何两个可运行对象都可以“链接”在一起，形成序列。前一个可运行对象.invoke()调用的输出将作为输入传递给下一个可运行对象。这可以使用管道运算符 （） 或更显式.pipe()的方法来完成，该方法执行相同的操作。生成的结果是 RunnableSequence 可运行的，这意味着它可以像任何其他可运行对象一样被调用、流式传输或管道传输。

LCEL 可以轻松地从基本组件构建复杂的链，并支持开箱即用的功能，例如流式处理、并行性和日志记录。

【代码】Azure OpenAI API配置（embedding为例）

本文将依faiss使用全流程来教学gpu版的faiss如何使用。

RAG 将信息检索组件与文本生成器模型相结合。RAG 可以进行微调，并且可以有效地修改其内部知识，而无需重新训练整个模型。

jieba词性对照表。

在构建RAG这类基于LLM的应用程序中，分块（chunking）是将大块文本分解成小段的过程。当我们使用LLM embedding内容时，这是一项必要的技术，可以帮助我们优化从向量数据库被召回的内容的准确性。在本文中，我们将探讨它是否以及如何帮助提高RAG应用程序的效率和准确性。在向量数据库（如：Pinecone）中索引的任何内容都需要首先Embedding。分块的主要原因是尽量减少我们Embedding内容的噪音。例如，在语义搜索中，我们索引一个文档语料库，每个文档包含一个特定主题的有价值的信息。

通过检索与生成目标相关的信息，来增强生成模型性能的技术。弥补LLMs“黑盒”导致的幻觉、信息来源单一、信息缺乏是时效性、模态单一、内容不透明不可追溯等短板。以便有效地控制成本并确保数据隐私的保护。

DragNUWA 使用户能够直接操纵图像中的背景或对象，模型将这些动作无缝地转换为相机运动或对象运动，生成相应的视频。以拖动（drag）的方式给出运动轨迹，DragNUWA 是一个集成了文本、图像和轨迹控制的系统，可以从语义、空间和时间的角度实现可控的视频生成。该研究认为文本、图像、轨迹这三种类型的控制是缺一不可的。