《语义捕捉全解析：从“我爱自然语言处理”到嵌入向量的全过程》

原创

已于 2025-02-07 23:33:55 修改 · 530 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习

于 2025-02-07 23:19:37 首次发布

首先讲在前面，介绍一些背景

RAG（Retrieval-Augmented Generation，检索增强生成）

是一种结合了信息检索与语言生成模型的技术，通过从外部知识库中检索相关信息，并将其作为提示输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力。以下是RAG的具体操作过程解析：
1.数据准备阶段
• 数据提取：使用相应的数据加载器从各种数据源（如PDF、Word、CSV、HTML等）中提取文本数据。例如，可以使用TextLoader加载txt文本。

• 文本分割：将提取的文本分割成适当大小的块，以确保每个块的内容具有一定的语义完整性。常用的分割方法包括字符级分割、递归方式分割等。

• 向量化（embedding）：使用嵌入模型（如HuggingFaceBgeEmbeddings）将分割后的文本块转换为向量表示。• 数据入库：将向量化后的文本块存储到向量数据库（如Chroma、weaviate、FAISS等）中，以便后续的高效检索。

2.检索阶段

• 用户提问：用户提出问题，系统需要从知识库中检索与该问题相关的信息。
• 向量化查询：使用相同的嵌入模型将用户的问题转换为向量表示。
• 相似度计算与检索：计算问题向量与知识库中文档块向量之间的相似度，选择相似度最高的前K个文档块作为当前问题的增强上下文信息。3.生成阶段
• 构造Prompt：将用户的问题和检索到的相关文档合并为一个新的提示（Prompt），可以使用ChatPromptTemplate等工具来构造。• LLM生成答案：将构造好的提示输入到大型语言模型（如ChatZhipuAI），模型会基于提供的信息生成最终的回答。

4.高级RAG

• 数据预处理：在数据索引阶段进行更精细的数据清洗、设计文档结构和添加元数据等，以提升文本的一致性、准确性和检索效率。
• 检索前处理：在检索前可以进行一些额外的处理，如查询扩展、语义解析等，以提高检索的准确性。
• 检索后处理：在检索后可以对结果进行排序、去重、融合等操作，以优化检索结果的质量。
• 生成优化：将检索与微调、强化学习等技术融合，进一步提升生成结果的质量和相关性。

5.模块化RAG
• 功能模块化：将RAG系统分解为多个功能模块，如查询搜索引擎、融合多个回答等，每个模块负责特定的任务。
• 模块编排：根据具体的应用场景和需求，对各个模块进行灵活的设计和编排，形成多种RAG模式。通过上述过程，RAG技术能够有效地结合外部知识库和大型语言模型的优势，生成更准确、更符合用户需求的回答。