你的RAG为何总“答非所问“？90%的人都不知道核心原理

已于 2025-03-26 17:35:14 修改
阅读量1.7k 收藏 47
点赞数 33
CC 4.0 BY-SA版权
分类专栏： 大模型应用编程 文章标签： AI编程 rag 大模型应用开发 rag分片策略 rag原理
于 2025-03-22 21:43:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lean_yao/article/details/146446980

大家好，我是朝暮，大厂研发高管，全栈工程师。专注AI工具、智能体、编程。

引言

大模型也要外挂

2025年是大模型场景爆发的元年，随着时间推移，大众对于大模型的应用需求不再局限于泛化知识。此时，你是否思考过，怎样才能更好地结合企业或个人的私域数据，打造出专属智脑呢？不少人在搭建知识库时可能会遇到这样的困扰：为何自己搭建的知识库表现欠佳，如同“人工智障”，而别人的却宛如真正的“人工智能”？其实，答案就藏在RAG（Retrieval-Augmented Generation，检索增强生成）技术里，它也被大家俗称为大模型的“外挂”。

RAG这个名字，想必很多朋友并不陌生，甚至有人已经在Coze、Dify、Fastgpt等SAAS服务中使用过。可能有人会觉得，这不过就是把文档扔给大模型处理，没什么特别的。但实际上，如果你这么想，可就低估了它的复杂性。

今天，我们将深入分析RAG的核心原理，探寻让大模型回答更加精准的通关秘诀。

一、什么是RAG以及如何解决幻觉问题

什么是RAG

RAG 是一种结合检索（Retrieval）和生成（Generation）的技术，主要用于让 AI 在回答问题或生成内容时，能够更好地利用外部知识库，而不是完全依赖于自身预训练的知识。

举个例子，你如果问大模型自己公司的经营数据状况，它可能回答不上来，或者会一本正经的胡说八道。但是如果你将企业的经营数据外挂在它上面，它就能基于这部分数据进行分析回答。

RAG如何解决幻觉

AI 幻觉是指 AI 生成的内容与事实不符或缺乏依据。RAG 通过以下方式减少幻觉：

  1. 精准检索外部知识 RAG通过向量数据库检索与问题高度相关的权威数据（如企业文档、学术论文等），替代模型依赖自身参数生成答案的模式。例如，医疗问答场景中优先引用最新医学指南而非模型记忆。

  2. 多级过滤机制 采用混合检索（语义+关键词）、重排序（Rerank）等技术优化结果。例如，阿里云通过元数据标注（文档类型、时效性）提升检索精度，过滤过时或低质信息。

二、RAG的工作原理及如何构建

1、RAG的工作原理

  1. 索引阶段 将外部知识（如文档、数据库等）分割为文本块，通过嵌入模型（如BERT）转换为向量并存入向量数据库。这一过程需考虑分块粒度、元数据标注等优化手段。

  2. 检索阶段 用户提问时，模型将问题向量化，通过相似度计算（如余弦距离）从向量库中检索最相关的文本块。先进技术可能结合混合检索（向量+关键词）和重排序（Rerank）优化结果。

  3. 生成阶段 将检索到的上下文与用户提问整合为提示词（Prompt），输入大模型生成最终答案。此过程可结合对话历史、多模态数据等。

2、RAG的构建流程

  1. 准备数据：根据实际业务需求整理相关的数据材料，包括但不限于：text、word，xlxs、csv、markdown、pdf等，其中text的文本处理起来最友好，其他需要额外转换处理。

  2. 数据分片：整理好的数据需要进行分片，就是将长文本切割成独立的一小段，方便存储。

  3. 数据向量：切割好的文本需要调用量化模型，通过相似度计算（如余弦距离），生成对应的向量数据。目前，比较对中文优化的量化模型有nomic-embed-text(768维度)、bge-large-zh(1024维度)。

  4. 建立索引：将向量数据存储在向量库中，我们需要设置检索规则，是混合检索(向量+关键字)还是Rerank(重排序)。

三、分块的重要性及五个维度

1、分块的重要性

在RAG（检索增强生成）系统中，分块（Chunking）是构建高效知识库和优化模型性能的核心环节。分块就像是小孩的营养餐，如果营养跟不上身体发育必然会出现问题。比如：在12345的问答场景中，我们将问题和答案分到两个不同的块中，检索时只匹配到了问题，这个时候大模型自然无法基于正确答案去推理生成。

2、RAG的分块重要性主要体现在以下五个维度：

  1. 提升检索效率与精度：分块通过将长文本切割为合理大小的片段，使向量嵌入更聚焦于局部语义。用户查询的向量与分块后的内容在维度上更匹配，相似度计算更精准，从而提高召回结果的相关性。

  2. 保障语义与上下文的完整性：过大的块可能导致语义模糊（如多个主题混杂），而过小的块可能丢失上下文（如拆散完整句子）。理想的分块策略需在两者间平衡，确保每个块包含独立语义单元。

  3. 优化生成质量与可解释性：分块为模型提供精准的上下文锚点，限制其基于可信数据生成答案。实验显示，当分块内容覆盖用户问题75%以上时，模型幻觉率降低60%。

  4. 灵活适应多场景需求：分块技术可处理非文本数据（如图片、表格），例如对图像生成摘要后再分块检索，实现跨模态知识融合。

  5. 解决长文本处理的固有难题：大模型的输入(Tokens)长度有限，分块允许系统在单次请求中整合多段相关文本，避免因长文本截断导致信息遗漏。

四、五大分块策略及选型建议

1、五大分块策略

1. 固定大小分块（Fixed Size Chunking）

将文本按固定字符数或Token数量均匀分割，可设置相邻块间的重叠比例（如保留20%重叠内容），避免关键信息被切断。

优点：实现简单，适合标准化文本处理，分块大小统一，便于批量计算和存储优化。

缺点：可能破坏段落逻辑，导致语义断层，无法自适应不同内容结构。

2. 语义分块（Semantic Chunking）

通过嵌入模型计算句子/段落的语义相似性，将高相似度的内容合并为块。计算每个句子的嵌入向量，根据余弦相似度阈值（如低于0.7时切分）动态划分。

优点：生成语义连贯的完整思想单元，检索准确率提升40%以上。

缺点：计算成本高（需多次嵌入计算），相似度阈值需人工调优。

3. 递归分块（Recursive Chunking）

分层使用分隔符（如段落→句子→词语）迭代分割文本：优先按高级分隔符（如\n\n）切分，若块仍超过预设大小，改用次级分隔符（如\n或,）递归切割。

优点：保留自然语言边界（如完整句子），动态适应不同文本复杂度。

缺点：分割结果大小仍存在波动，对无明确结构的文本效果有限。

4. LLM分块（LLM-Driven Chunking）

利用大语言模型理解文本逻辑，自动生成独立语义块，提取原始文本中的核心命题（如“Greg went to the park”），通过提示工程指导LLM合并关联命题。

优点：模仿人类阅读时的分块逻辑，支持跨语言、多模态内容处理。

缺点：生成延迟高（依赖LLM推理），存在模型幻觉风险。

5. 文档接口分块（Document-Structured Chunking）

基于文档固有结构（如标题、章节、表格）定义分块边界，Markdown按#标题层级分割，PDF按段落/表格定位。

优点：保持文档逻辑完整性，支持代码/表格等特殊格式。

缺点：依赖清晰的文档结构，对扫描版PDF等非结构化文档无效。

2、策略对比与选型建议

实践建议：

  1. 上手快：优选固定分块，简单粗暴，适合通用。

  2. 结构化：必选接口分块，慢工出细活，避免逻辑断裂。

  3. 平衡质量与效率：语义分块+递归分块组合，中规中矩，平衡效率与质量。

  4. 不差钱，多模态：选择LLM分块，大力出奇迹，但需监控幻觉率。

每种策略的侧重都不同，个人实际使用下来感觉固定分块+语义分块效果不错，但还是需要结合实际情况多尝试，最终的选择还是取决于内容的性质、嵌入模型的能力和计算资源等。

五、结语

说到底，RAG不是把文件一传了事那么简单。它更像是一个精密运转的“知识加工厂”——光有原材料（文档）可不够，得靠分块、检索、生成这些技术环节的默契配合。

就像我们切菜不能乱剁，文档分块得讲究策略：有的按段落切，有的按语义分，甚至还要给每块文档打上“小标签”（元数据）方便精准匹配问题。

关注我，赠送DeepSeek 从入门到精通全套资料，以及AI破局三天实战营，连续三天硬核直播。有素人做AI副业从0到百万的案例，有AI数字人口播带货、AI代写带货等热门项目。直接领卡即可免费参加。

AI Agent开发第69课-彻底消除RAG知识库幻觉(3)-手撕“重排序”
打造全国最全的AI Agent开发知识领域的博客
05-17 397
在上几篇“彻底消除 RAG知识库幻觉”系列中我们提到了这么一个公式：你的搜索内容必须>=用户的提问。要求召回率越大、越多越好。但是这依然不能解决大模型的“过度拟合”问题。因为当喂给大模型的知识库条目内容越多，大模型反而越回答了不好，它会回答一些不相关的内容甚至是“张冠李戴”，因此今天我们要讲在RAG里当召回率高、数据量大时如何把回答的范围“缩”到尽量贴近用户的提问范围内的技巧，这就是“重排序”，又称为Re-ranking。
RAG技术赋能AI原生应用的五大优势
最新发布
AI天才研究院
07-15 566
本文旨在帮助开发者、产品经理及AI爱好者理解RAG技术的核心价值，重点解析其在AI原生应用中的五大优势，并提供可落地的技术路径。内容覆盖RAG基础原理、典型优势、实战案例及未来趋势。本文从“生活场景引入→核心概念拆解→五大优势详解→实战代码→未来趋势”展开，通过“故事+原理+案例”的组合，确保读者既能理解技术本质，又能掌握落地方法。RAG：先检索资料，再生成回答的“两步走”技术。检索：像“图书馆找书”，从知识库中挑最相关的文档。生成：像“整理笔记”，用大模型把资料变成流畅的回答。
【课程总结】day27：大模型之初识RAG
Deadwalk的专栏
08-21 995
通过前几章的学习，我们已经掌握连接一个第三方大模型，使用LangChain与大模型建立交互，并且通过Prompt进行提问，得到相应的回答。本章我们将开始了解RAG（检索增强生成）技术，了解RAG的技术原理以及基本使用方法。
RAG的原理是什么？
金木AI
05-10 1180
2、生成（Generation）：RAG也包含一个生成器，通常是一个预训练的语言模型，例如GPT（Generative Pre-trained Transformer）。生成器通常会在检索到的信息的基础上进行细化和扩展，以生成更准确、更丰富的文本。RAG（Retrieval-Augmented Generation）是一种深度学习模型，结合了检索和生成两种方法，用于生成自然语言文本。通过将检索和生成结合起来，RAG模型可以在生成文本时更好地利用外部知识和信息，从而产生更准确、更丰富的结果。
RAG系列： 一文讲明白所有RAG概念！附带完整RAG实践过程！
weixin_59191169的博客
06-18 846
RAG（Retrieval-Augmented Generation，检索增强生成）是一种将大规模语言模型（LLM）与外部知识源检索相结合的人工智能技术框架，旨在提高模型的问答和生成能力。它通过从外部知识库中检索相关信息来增强语言模型的输出，从而生成更准确、更丰富上下文的响应。实际上，RAG的本质是InContext Learning，即 `RAG(检索增强生成) = 检索技术 + LLM 提示`。
RAG原理、综述与应用全解析【万字长文】
狮子座明仔知识集散场
04-03 1万+
1.1 定义检索增强生成 (Retrieval-Augmented Generation, RAG) 是指在利用大语言模型回答问题之前，先从外部知识库检索相关信息。早在2020年就已经有人提及RAG的概念（paper：Retrieval-augmented generation for knowledge-intensive nlp tasks），首版发布在arxiv于2020年5月，当年还是seq2seq的时代，但实验就已经发现，通过检索，能快速从海量知识中找到和原本问题相关的知识，借助知识带来的信息能提
一文带你了解RAG核心原理！不再只是文档的搬运工
weixin_42782643的博客
04-18 876
RAG系统通过数据准备、数据检索和LLM生成三个核心环节把外部知识和大语言模型能力完美结合，使得用户能够收获更专业更准确的知识。RAG系统使用者如果需要提升RAG系统性能，必须深刻了解RAG核心原理。
RAG原理简介
wn1652400018的博客
06-05 1798
在检索阶段，根据用户的查询向量，使用向量数据库快速找出最相关的向量的过程通常通过计算余弦相似度或其他相似性度量来完成，检索结果根据相似度得分进行排序最相关的文档将被用于后续的文本生成。它通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、更丰富的回答。在检索之前对用户的提问进行了路由、扩展、重写的处理，对于检索到的信息进行重排序、总结、融合等处理，使得对信息收集和处理的效率更高。RAG 评测框架: 对抗噪音的鲁棒性、拒答能力、融合能力、真实性、回答问题的相关度、总结能力、纠错能力等多维度的评估。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
热门推荐
女王の专属领地
01-20 1万+
检索增强生成（RetrievalAugmentedGeneration），简称RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
​RAG与LLM原理及实践（7）--- Chroma query应用层策略及实现原理
talentyiyy的专栏
07-01 1245
Chroma query 底层查询的 query 思想是相同的，甚至在vector db 的世界中，都大同小异。如果你有看前面写的应该比较清楚query的运作原理，说直白就是在memory或是disk中通过暴力查询比较与HNSW算法（NSW算法的变种，分层可导航小世界）进行分析得到。其中向量比较的几种方式，如果你看了前面写的应该也比较清楚，就是cosine，l2，ip 几种比较方式。这是底层运作的基本思想。但是站在应用层的角度，query可以有所不同。
RAG技术深度解析：如何通过优化文档处理提升AI回答质量
Free2AI DBMove
05-14 788
在AI技术日新月异的今天，RAG作为一种融合了检索与生成的新型技术，正逐步成为企业和开发者提升AI能力的关键工具。然而，许多用户在使用RAG技术时，发现AI的回答常常不尽如人意，甚至“答非所问”。本文将从RAG的原理出发，探讨其在实际应用中的痛点，并重点分享如何通过优化文档处理来提升RAG的回答质量。
高级检索增强生成技术(RAG)全面指南：原理、分块、编码、索引、微调、Agent、展望
人工智能讲师分享前沿技术
04-27 7385
如果我们使用多个源来生成答案，要么是由于初始查询的复杂性（我们必须执行多个子查询，然后将检索到的上下文合并到一个答案中），要么是因为我们在各种文档中找到了单个查询的相关上下文，问题是我们是否能够准确地回溯我们的来源。显然，尽管OpenAI是LLM提供商的市场领导者，但仍有许多替代方案，例如Anthropic的Claude、最近流行的较小但功能强大的模型，例如Mixtral形式的Mistral、Microsoft的Phi-2以及许多开源选项，例如Llama2、OpenLLaMA、Falcon。
检索增强生成（RAG）是什么?一文详解RAG的工作原理！
2301_76168381的博客
06-03 963
检索增强生成（Retrieval-Augmented Generation，RAG）是指对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型（LLM）用海量数据进行训练，使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在LLM本就强大的功能基础上，RAG将其扩展为能访问特定领域或组织的内部知识库，所有这些都无需重新训练模型。这是一种经济高效地改进LLM输出的方法，让它在各种情境下都能保持相关性、准确性和实用性。
RAG原理
2301_82244019的博客
02-20 244
在检索到相关信息后，RAG将这些信息整合到生成模型中，形成结构化的提示（prompt），然后输入到大型语言模型（如GPT-3、BERT等）中生成回答或执行任务。这一过程结合了检索到的外部知识和模型自身的知识，提高了生成内容的准确性和相关性。：使用如Dense Passage Retrieval（DPR）等高效检索算法，从外部知识库中查找与输入查询最相关的文本片段。这些算法通过计算查询向量与知识库中向量的相似度（如余弦距离），实现快速且准确的检索。
RAG是什么？一文讲清楚RAG原理与典型系统架构！
kaka0722ww的博客
06-02 1726
RAG，全称为Retrieval Augmented Generation，即检索增强生成。它是一种将外部知识检索与大型语言模型的生成能力相结合的人工智能技术框架。其核心思想是在大型语言模型（LLM）处理用户查询并生成回答之前，首先从一个或多个外部知识源（如数据库、文档集合、API等）中检索与查询相关的、最新的信息片段。然后，这些检索到的信息将作为额外的上下文（Context）注入到LLM的提示（Prompt）中，从而引导LLM生成更准确、更相关、更具事实性的内容。
一文全解RAG(检索增强生成) ，概念理论介绍
程序员鑫港的博客
07-10 1157
RAG应用普及促进RAG技术不断演进，衍生出多个变体和优化方案，如GraphRAG、MultiHop-RAG(多跳RAG）、HyDE和RAGFusion等就是目前市场中主流的几个RAG家族成员，这些RAG技术优化路线各有侧重，适用于不同的应用场景。本文将系统梳理RAG家族的发展脉络，深入剖析各版本的核心原理、技术架构及实际应用，帮助用户全面理解 RAG生态体系与应用范式。
RAG专栏：RAG的场景及技术原理
m0_37145844的博客
03-26 652
RAG 模型的核心思想在于通过检索与生成的有机结合，弥补大模型在处理领域问题和实时任务时的不足。传统的生成模型在面对复杂问题时，往往由于知识储备不足，生成出错误或无关的回答。而 RAG 通过检索模块获取相关的背景信息，使生成模块能够参考这些信息，从而生成更具可信度和准确性的答案。这种方法不仅增强了生成内容的准确性，还提高了模型在应对特定领域知识和动态信息时的适应能力。
（RAG 系列）RAG 技术原理
qq_51047851的博客
08-25 1609
RAG 技术原理
RAG是什么？RAG综述，从原理到实战一篇搞懂！
AI大模型的博客
05-20 1645
RAG（Retrieval Augmented Generation）顾名思义，通过检索外部数据，增强⼤模型的⽣成效果。 RAG即检索增强⽣成，为LLM提供了从某些数据源检索到的信息，并基于此修正⽣成的答案。RAG 基本上是Search + LLM 提示，可以通过⼤模型回答查询，并将搜索算法所找到的信息作为⼤模型的上下⽂。查询和检索到的上下⽂都会被注⼊到发送到 LLM 的提示语中。
说明OpenWebUI中的RAG功能和原理？
07-03
<think>我们正在讨论OpenWebUI中的RAG功能及其原理。RAG（Retrieval-AugmentedGeneration）是一种结合信息检索与文本生成的技术，用于增强大语言模型（LLM）的生成能力。在OpenWebUI中，RAG功能允许用户上传文档，然后基于这些文档的内容进行问答。 ###RAG在OpenWebUI中的工作原理####1. **文档处理与向量化**当用户上传文档（如PDF、TXT等）时，OpenWebUI会执行以下步骤： -**文档加载**：使用文档加载器（如`PyPDFLoader`、`TextLoader`）读取文档内容。- **文本分割**：将文档分割成较小的片段（chunks），以便后续处理。常用的分割方法包括按字符数分割、按句子分割等。- **向量嵌入**：使用嵌入模型（如`text-embedding-ada-002`或本地模型如`nomic-embed-text`）将文本片段转换为向量表示。- **向量存储**：将向量及其对应的文本片段存储在向量数据库中（如Chroma、FAISS）。数学上，文本片段$d_i$被转换为向量$\mathbf{v}_i \in \mathbb{R}^d$，其中$d$是嵌入向量的维度。这些向量被存储在向量数据库中，以便后续检索。 ####2. **查询处理** 当用户提出问题时：-**查询向量化**：使用相同的嵌入模型将用户查询$q$转换为向量$\mathbf{q}$。 -**相似度检索**：在向量数据库中执行近似最近邻（ANN）搜索，找出与$\mathbf{q}$最相似的$k$个文本片段（即向量距离最近的片段）。通常使用余弦相似度或欧氏距离作为相似度度量。 余弦相似度计算为：$$\text{sim}(\mathbf{q},\mathbf{v}_i)= \frac{\mathbf{q} \cdot \mathbf{v}_i}{\|\mathbf{q}\|\|\mathbf{v}_i\|}$$ ####3. **生成答案** 检索到的文本片段（作为上下文）与用户查询一起输入到大语言模型（LLM）中，生成最终答案。LLM的提示模板（prompt template）通常如下：``` 请基于以下上下文回答用户的问题：[上下文1] [上下文2] ...[上下文k] 问题：{用户查询} 答案： ```LLM基于上下文生成答案，从而增强回答的准确性和相关性。 ###OpenWebUI中RAG的实现细节-**支持多种文档格式**：通过LangChain的文档加载器支持PDF、TXT、DOCX等格式。 -**可配置的分块参数**：用户可以设置`chunk_size`和`chunk_overlap`，以控制文本分割的粒度。- **灵活的向量存储**：支持多种向量数据库，默认使用ChromaDB（轻量级且易于部署）。- **本地模型集成**：支持使用Ollama管理的本地LLM和嵌入模型，确保数据隐私。### RAG的优势1. **知识实时更新**：无需重新训练模型，通过更新文档即可扩展模型知识。2.**减少幻觉**：基于检索到的上下文生成答案，降低模型编造信息的风险。 3. **可解释性**：用户可查看检索到的上下文来源，增强信任度。### RAG的局限性-**检索质量依赖**：若检索到的上下文不相关，则生成答案可能不准确。 -**上下文长度限制**：受限于LLM的上下文窗口大小，无法利用过多文档片段。 ###示例：OpenWebUI中RAG的工作流程```mermaidgraph TDA[用户上传文档]--> B[文档分割为片段]B -->C[片段向量化]C--> D[存储到向量数据库]E[用户提问] -->F[问题向量化]F--> G[检索相似片段]G -->H[组合上下文和问题]H--> I[LLM生成答案]I--> J[返回答案并展示来源]``` ###性能优化建议-**调整分块大小**：根据文档内容调整`chunk_size`（通常200-500字符）。 -**选择合适模型**：本地部署时选择轻量级模型（如`gemma:2b`）以提高响应速度。 -**索引优化**：定期重建向量索引以提高检索效率。 ###引用说明OpenWebUI的RAG功能基于LangChain框架实现，支持本地化部署和文档管理[^1]。--- ###§§相关问题§§1.如何调整OpenWebUI中RAG的分块参数（chunk_size）？ 2. OpenWebUI支持哪些向量数据库？ 3.如何为RAG选择合适的大语言模型？4.RAG在哪些场景下效果最好？ 5.如何解决RAG中检索不准确的问题？</think>### OpenWebUI 中 RAG 功能详解及工作原理 #### 一、RAG 功能概述 RAG（Retrieval-Augmented Generation）是 OpenWebUI 的核心功能之一，它通过以下流程实现智能问答： ```mermaid graph LR A[用户提问] --> B[文档检索] B --> C[上下文增强] C --> D[LLM生成答案] D --> E[返回结果] ``` 特点包括： - **文档支持**：支持上传 PDF/TXT/DOCX 等格式文档 - **本地化处理**：所有文档处理和问答在用户设备本地完成 - **溯源能力**：答案附带文档来源引用[^1] #### 二、RAG 工作原理详解 ##### 1. **文档预处理阶段** 当用户上传文档时，系统执行： - **文本提取**：使用文档加载器（如 `PyPDFLoader`）提取原始文本 - **文本分块**：按固定长度分割文本（默认 $chunk\_size=512$ 字符） - **向量化**：通过嵌入模型（如 `nomic-embed-text`）生成文本向量： $$ \mathbf{v} = \text{Embed}(\text{chunk}) \quad \mathbf{v} \in \mathbb{R}^{768} $$ - **向量存储**：将向量存入本地向量数据库（默认 ChromaDB） ##### 2. **查询处理阶段** 用户提问时触发： 1. **查询向量化**：将问题 $q$ 转换为查询向量 $\mathbf{q}$ 2. **相似度检索**：在向量库中执行近似最近邻搜索： $$ \text{sim}(\mathbf{q}, \mathbf{v}_i) = \frac{\mathbf{q} \cdot \mathbf{v}_i}{\|\mathbf{q}\| \|\mathbf{v}_i\|} $$ 3. **上下文构建**：取 Top-K 相似片段（默认 $K=4$）组成提示词： ```text 基于以下文档内容回答问题： [文档片段1]... [文档片段2]... 问题：{用户提问} ``` ##### 3. **生成阶段** - 增强后的提示词输入 LLM（如 Llama3/Gemma） - LLM 基于检索到的上下文生成答案 - 返回结果时标注文档来源片段 #### 三、技术架构组件 | 组件 | 功能 | 实现技术 | |------|------|----------| | **文档加载器** | 解析文件格式 | LangChain DocumentLoaders | | **文本分割器** | 分块处理 | RecursiveCharacterTextSplitter | | **嵌入模型** | 文本→向量转换 | Ollama 本地嵌入模型 | | **向量数据库** | 向量存储/检索 | ChromaDB | | **提示工程** | 上下文构建 | LangChain Prompt Templates | | **生成模型** | 答案生成 | 本地 LLM (Ollama) | #### 四、典型应用场景 1. **企业知识库问答** - 上传公司文档实现内部知识查询 - 示例：检索员工手册中的请假政策 2. **学术研究辅助** - 分析论文 PDF 回答特定问题 - 示例："这篇论文的实验方法是什么？" 3. **个人文档管理** - 快速查询笔记/合同中的关键信息 - 示例："我的租房合同到期日是？" #### 五、性能优化关键 1. **分块策略调优** - 调整 `chunk_size` (推荐 300-1000 字符) - 设置 `chunk_overlap` (推荐 10-20%) 避免上下文断裂 2. **检索优化** ```python # 提升检索精度的方法 retriever = vectorstore.as_retriever( search_type="mmr", # 最大边际相关性算法 search_kwargs={"k": 6} ) ``` 3. **模型选择** - 轻量模型：`gemma:2b`（快速响应） - 精度优先：`llama3:70b`（复杂推理） #### 六、优势与局限 **✅ 核心优势** - 数据完全本地化，避免隐私泄露 - 支持离线环境运行 - 可处理超长文档（突破 LLM 上下文限制） **⚠️ 使用限制** - 检索质量依赖文档结构 - 本地硬件影响处理速度 - 首次加载需文档预处理时间 > 如引用[1]所示，该功能在保持数据主权的同时，提供了类 GPTs 的增强问答体验[^1]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值