RAG检索增强生成（持续更新ing...）

最新推荐文章于 2025-07-18 07:00:00 发布
最新推荐文章于 2025-07-18 07:00:00 发布
阅读量376 收藏 3
点赞数 7
CC 4.0 BY-SA版权
分类专栏： 人工智能学习笔记 文章标签： 人工智能 RAG LLM 检索增强生成 语言模型 大规模预训练语言模型 NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PolarisRisingWar/article/details/148040992

诸神缄默不语-个人技术博文与视频目录

文章目录

1. RAG简介

2. 通用的实现环节详细介绍

2.1 向量表征

  1. OpenAI提供的embedding接口：https://platform.openai.com/docs/guides/embeddings
  2. BGE https://bge-model.com/：智源出的向量化模型
  3. BCE https://github.com/netease-youdao/BCEmbedding：网易有道出的向量化模型
  4. M3E系列 https://huggingface.co/moka-ai/m3e-base：摩卡（就那家做招聘的公司）出的向量化模型
  5. 通义千问 embedding：https://help.aliyun.com/zh/model-studio/text-embedding-synchronous-api
  6. JinaAI Embedding：https://huggingface.co/jinaai/jina-embeddings-v2-base-zh

leaderboard

  1. https://huggingface.co/spaces/mteb/leaderboard

本文撰写过程中参考的网络资料

  1. 未整理完
    1. 大模型主流应用RAG的介绍——从架构到技术细节 - 知乎
    2. 大模型RAG（二）向量化（embedding）_向量化模型-优快云博客
    3. RAG 高效应用指南：Embedding 模型的选择和微调 - 53AI-AI知识库|大模型知识库|大模型训练|智能体开发
工作必备：15款实用高效AI工具全面分析汇总（持续更新ing）
Code_流苏：在代码中寻诗意，在实践中觅真知
04-30 913
工作必备：15款实用高效AI工具全面分析汇总（持续更新ing）
《Python星球日记》 第72天：问答系统与信息检索
Code_流苏：在代码中寻诗意，在实践中觅真知
05-14 766
《Python星球日记》 第72天：问答系统与信息检索，在前面的日子里，我们学习了自然语言处理的基础知识，包括文本预处理、词向量、Transformer架构和各种预训练模型。今天，我们将探索问答系统这一NLP的重要应用，以及如何结合信息检索技术构建智能问答系统。
LLM的理论古往今来（持续更新ing...）
诸神缄默不语的博客
06-07 1843
本文介绍LLM的SOTA
检索增强生成
qzhqbb的博客
11-10 1041
20分钟讲明白检索增强（内附基于LangChain搭建简单RAG系统简单教程）
LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-14 5685
​ LLM之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 目录 《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 Abstract 1 Introduction 2 Definition 3 RAG Framework
从 RAG 到 Self-RAG —— LLM 的知识增强
python12345_的博客
07-13 1064
事实上这种 LLM 主动使用工具并进行判断的方式并非 Self-RAG 首创，在此之前的 AutoGPT, Toolformer 和 Graph-Toolformer 中早已有之，而且支持多种 API 调用。针对 graph reasoning 任务设计少量 API Call 样本基于 ChatGPT 对 prompt 进行 augmentation使用现有 pre-train LLM 进行模型 fine-tuning。
一文读懂：大模型RAG
weixin_42029738的博客
06-11 1212
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
AI-Compass RAG+workflow模块：检索增强生成与工作流编排技术生态构建知识密集型AI应用
最新发布
丨汀、的博客
07-18 539
AI-Compass RAG+workflow模块：检索增强生成与工作流编排技术生态构建知识密集型AI应用
LLMs之RAG：《DeepNote: Note-Centric Deep Retrieval-Augmented Generation》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-13 1048
检索增强生成（RAG）（Lewis 等人，2020）是一种广泛使用的技术，它利用外部非参数化的知识资源来帮助 LLM 扩展其固有的参数知识边界，以缓解这些问题。此外，多维分析表明，我们的框架能够收集高质量且全面的信息，具有更高的知识密度，同时有效地平衡了检索效率和性能。在以笔记为中心的自适应检索过程中，我们持续利用最佳笔记来引导系统做出最优的前向检索决策，并从知识增长的角度用新检索到的信息更新笔记。的检索机制，使其能够深度探索知识库，并有效整合来自不同检索迭代的信息，最终生成更准确、更全面的答案。
RAG：知识库参数设置
山川湖海*
02-07 2027
工作过程中，使用工作流过程中，由于嵌入知识库。需要对知识库进行配置，下文将对工作过程中的知识库配置进行介绍、并对相关经验进行总结。
大模型外挂知识库rag综述
posuosini的博客
03-19 9748
大模型外挂知识库rag的综述
TensorFlow安装教程
热门推荐
诸神缄默不语的博客
05-28 6万+
本文介绍TensorFlow在Linux系统上的安装方法。
cs224w（图机器学习）2021冬季课程学习笔记集合
诸神缄默不语的博客
05-26 5万+
我自己写的cs224w（图机器学习）2021冬季课程笔记的目录
huggingface.transformers安装教程
诸神缄默不语的博客
02-28 5万+
本部分介绍transformers包如何安装，安装后如何检验是否安装成功，以及cache的设置和离线模式如何操作。
60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）学习笔记
诸神缄默不语的博客
04-24 3万+
PyTorch官方教程：60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）的学习笔记。
NetworkX入门教程
诸神缄默不语的博客
05-28 2万+
NetworkX入门教程 NetworkX：Python处理图数据的包
huggingface.datasets无法加载数据集和指标的解决方案
诸神缄默不语的博客
04-08 2万+
解决huggingface的datasets包无法加载数据集的问题
wandb使用教程（持续更新ing...）
诸神缄默不语的博客
05-17 2万+
wandb使用教程
Some weights of the model checkpoint at mypath/bert-base-chinese were not used when initializing Ber
诸神缄默不语的博客
04-05 2万+
Some weights of the model checkpoint at mypath/bert-base-chinese were not used when initializing BertModel: ['cls.seq_relationship.weight', 'cls.predictions.transform.dense.bias', 'cls.seq_relationship.bias', 'cls.predictions.bias', 'cls.predictions.transf
RAG 检索增强生成模型
06-18
### 检索增强生成模型（RAG）的工作原理 检索增强生成模型（RAG）结合了检索模型和生成模型，通过动态检索外部知识库中的信息来补充文本生成能力。其核心思想是利用检索模型从大规模数据集中获取相关上下文信息，并将这些信息传递给生成模型以生成高质量的响应[^1]。具体而言，RAG技术通过融合大语言模型（LLMs）的生成能力和外部知识库的检索功能，实现了准确、丰富且时效性强的文本输出[^2]。 在工作流程中，RAG模型首先使用检索组件对输入问题进行处理，从外部知识库中提取与问题相关的文档片段或段落。然后，生成组件基于检索到的信息以及原始输入生成最终的响应。这种设计使得RAG能够突破传统预训练语言模型的静态知识局限性，支持动态引入最新的外部信息[^2]。 --- ### RAG 的实现方法 RAG的实现通常依赖于两种主要组件：**检索模型**和**生成模型**。以下为其实现的关键步骤： #### 1. 数据准备 构建一个包含丰富知识的私有或专有数据源作为检索模型的基础。这些数据可以包括结构化数据库、非结构化文档集合或其他形式的知识库。为了提高检索效率，需要对数据进行预处理，例如分词、向量化等操作[^3]。 #### 2. 检索模型 选择或开发适合的检索模型，如基于密集表示的学习到检索（DPR, Dense Passage Retrieval）模型。该模型通过编码器将查询和文档分别映射到同一语义空间中的向量表示，从而计算相似度并选出最相关的文档片段[^3]。 #### 3. 生成模型 将检索到的相关文档片段与原始输入一起传递给生成模型（如T5、BART等），以生成最终的响应。生成模型可以根据检索到的信息调整其输出内容，确保生成结果既符合用户需求又具备高准确性[^1]。 --- ### RAG 的代码示例 以下是一个基于 LangChain 实现 RAG 的简单代码示例，展示了如何结合检索和生成模型完成任务[^3]。 ```python from langchain import OpenAI, VectorDBQA from langchain.prompts import PromptTemplate from langchain.chains import RetrievalQA from langchain.vectorstores import FAISS from langchain.embeddings import OpenAIEmbeddings # 初始化嵌入模型和向量数据库 embeddings = OpenAIEmbeddings() vectorstore = FAISS.load_local("path/to/faiss_index", embeddings) # 定义提示模板 prompt_template = """Use the following pieces of context to answer the question. {context} Question: {question} Answer:""" PROMPT = PromptTemplate(template=prompt_template, input_variables=["context", "question"]) # 初始化生成模型 llm = OpenAI(temperature=0) # 构建 RAG 链 qa_chain = RetrievalQA.from_chain_type( llm=llm, chain_type="stuff", retriever=vectorstore.as_retriever(), return_source_documents=True, chain_type_kwargs={"prompt": PROMPT} ) # 示例查询 query = "什么是检索增强生成模型？" result = qa_chain({"query": query}) print(result["result"]) ``` 上述代码中，`FAISS` 是一种高效的向量数据库工具，用于存储和检索文档的嵌入表示。`OpenAIEmbeddings` 负责生成文档和查询的嵌入向量，而 `RetrievalQA` 则整合了检索和生成过程[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值