本地问答系统升级：本地RAG+网络搜索（已开源）

最新推荐文章于 2025-04-09 08:45:36 发布
最新推荐文章于 2025-04-09 08:45:36 发布
阅读量631 收藏 13
点赞数 10
文章标签： 语言模型 人工智能 自然语言处理 agi AI大模型 AI RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Code1994/article/details/145630645
版权

一、搜索 API 的选择

核心原则：优先选择支持结构化数据返回、高稳定性、低成本或免费层充足的 API。

Google Custom Search JSON API

适合通用搜索，支持过滤和排序，免费层每日 100 次请求。需注意内容版权合规性。

Serper.dev（推荐）

专为 AI 优化的搜索引擎 API，低延迟高性价比（$50/10 万次）。

支持 Google/Bing 搜索结果结构化提取。

Bing Search API

微软生态兼容性好，学术场景有免费额度。

NewsAPI/Yahoo Finance（垂直领域）

若需时效性新闻或金融数据可作为补充。

学术论文检索

通过 CrossRef/Semantic Scholar API 获取学术资源。

初步测试下来，选择 SerpAPI 作为演示示例，每个月有 100 次免费查询额度，对于短期测试是完全足够了，后续有需要大家可以自行切换其他服务商。

在这里插入图片描述

在这里插入图片描述

二、联网搜索触发标准

2.1 现有触发条件

目前的触发逻辑是在代码中通过硬编码时间敏感检测实现触发。

需要特别说明的是，这种做法比较粗糙，有优化需求的盆友可以参考下述两种没有在该项目中实现的方法。

time_keywords = {
    "时间相关": ["最新","今年","当前","最近","刚刚","日前","近日","近期"],
    "年份模式": r"\b(20\d{2}|今年|明年|去年)\b",
    "时间副词": ["最近","目前","现阶段","当下","此刻"]
}

2.2 基于内容缺失的触发

  • RAG 置信度阈值
    当本地向量检索结果的相似度分数 < 0.7（需根据实际数据校准）。

  • 实体缺失检测
    通过 NER 识别问题中的实体，检查是否在本地知识库中存在。

2.3 基于用户意图的触发

  • 意图分类模块
    训练轻量级分类模型识别是否需要实时信息（如"新闻"、"股票价格"类问题）。

  • 显式指令识别
    检测类似"搜索网络"、"查看最新资料"等用户指令词。

2.4 混合决策机制

if (rag_confidence < threshold) or 
   (has_time_critical_keyword) or 
   (detect_explicit_search_command):
    trigger_web_search()

三、数据整合流程

3.1

在这里插入图片描述

双通道处理架构

  • 检索阶段
    对用户查询进行向量化。在 ChromaDB 中同时检索本地知识库和网络结果的向量，按相似度排序。返回 Top-K 结果（如 K=5）。

  • 生成阶段：
    将检索到的本地和网络结果拼接为上下文。

  • 设计提示词模板，例如：

请根据以下本地文档和网络搜索结果回答问题：
[本地文档1]...
[网络结果1]...
[本地文档2]...
[网络结果2]...
问题：{用户问题}
  • 调用本地大模型生成最终答案。

3.2 网络数据清洗：

去重：content_hash 校验

结构化：提取标题/摘要/链接

元数据标记：“source”: “web”

3.3 矛盾检测机制：

def detect_conflicts(sources):
       key_facts = {}
       for item in sources:
           facts = extract_facts(item['excerpt'])
           # 关键事实对比...

3.4 可信度评估：

credibility_scores = {
       "gov.cn": 0.9,  # 政府网站
       "weixin": 0.7,  # 微信公众号
       "zhihu": 0.6    # 知乎
   }

3.5 **** 来源标注示例：****

<div class="source-item">
    <span style="background:#4CAF50">网络</span>
    <a href="...">可信度83%｜2024最新行业报告</a>
    <div>...摘要内容...</div>
</div>
<div class="source-item">
    <span style="background:#2196F3">本地</span>
    <div>...本地文档节选...</div>
</div>

四、性能优化方向

4.1 系统架构

微服务化可以将不同模块解耦，独立扩展。比如，将嵌入生成、模型推理部署为单独服务，利用负载均衡提高吞吐量。分布式向量数据库能处理更大规模数据，提高查询效率。

4.2 检索效率

向量数据库的查询速度直接影响响应时间。引入混合检索（比如结合 BM25 和语义向量）可以提高召回率，而重排序模型（Reranker）能提升结果的相关性，减少后续处理的数据量。

4.3 网络搜索优化

SerpAPI 的调用延迟可能影响整体性能。引入缓存机制，对常见查询结果进行缓存，减少重复请求。同时，并行处理搜索和本地检索，利用异步编程，可以缩短整体延迟。

五、如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方优快云官方认证二维码，免费领取【保证100%免费】

RAG+编排流方案实战总结[3]：工业级别构建私域问答场景深化版（提示词优化、召回效果优化、产品体验优化）
丨汀、的博客
08-07 651
RAG+编排流方案实战总结[3]：工业级别构建私域问答场景深化版（提示词优化、召回效果优化、产品体验优化）
RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
丨汀、的博客
08-07 809
RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
RAG入门实践：手把手Python实现搭建本地知识问答系统
Arbboter的专栏
02-20 4293
向量数据库是AI时代的“数据配对专家”，用向量化思维解决非结构化数据的存储和检索难题，尤其适合需要。
本地部署私人知识库的大模型！Llama 3 + RAG +大模型开源教程「动手学大模型应用开发」！
AAI666666的博客
10-10 2824
本地部署私人知识库的大模型！Llama 3 + RAG +大模型开源教程「动手学大模型应用开发」！
RAG API 项目使用教程
gitblog_00461的博客
04-07 809
RAG API 项目使用教程 rag_api ID-based RAG FastAPI: Integration with Langchain and PostgreSQL/pgvector 项目地址: https://gitco...
低代码快速构建RAG应用
soso1968的博客
09-13 2075
本文主要介绍如何基于阿里云百炼的应用中心快速创建RAG应用，并通过API/SDK低代码方式调用RAG应用进行文档问答的最佳实践。
使用LlamaIndex，Qdrant，Ollama和FastAPI构建本地RAG api
myboyliu2007的专栏
02-04 3001
互联网上有大量关于如何构建RAG管道的教程，问题在于，大多数都依赖于在线服务和云工具，特别是在生成部分，许多教程都主张使用OpenAI LLM API，不幸的是，这些API并不总是免费的，而且在处理敏感数据时可能不被认为是可信的。现在我们已经成功地将我们的数据（研究论文）加载到我们的向量存储（Qdrant）中，我们可以开始查询它以获取相关数据，以供我们的LLM使用。Llamaindex支持各种数据加载器，在我们的情况下，我们的数据将是一个文件夹中的一堆PDF，这意味着我们可以使用。对我们的数据进行分块。
基于中转API的RAG（检索增强生成）技术在LLM应用中的实现
ppoojjj的博客
07-21 509
在大规模语言模型（LLM）技术中，RAG（检索增强生成）是一种解决方案，能够将特定数据与LLM模型结合，从而生成更具针对性的响应。本文将介绍RAG的基本概念、各个阶段的实现步骤，并提供一个使用中转API的示例代码。
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
丨汀、的博客
07-25 8908
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
用 LoRA + RAG 构建企业级知识系统：轻量微调 × 高命中率 × 快速部署
最新发布
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-09 1215
很多企业都在搭 RAG 系统，但光靠向量检索很容易“搜得准、答不对”，尤其中文资料多、行业术语重的时候，大模型往往答得模糊兮兮。这时候加一手 LoRA 微调，能让模型不仅“找到内容”，还“说得明白”，这篇就讲讲怎么把 RAG + LoRA 真正跑通，用在自己的知识系统里，不靠 API，全链路自己掌控。
基于Langchain-chatchat搭建本地智能知识问答系统
m0_70276855的博客
06-20 862
富的数据科学工具和库，以及便捷的包管理和环境管理功能，使数据科学家和机器学习工程师能。的主要作用是简化数据科学项目的设置和管理。是一个强大的数据科学平台，它简化了数据科学项目的设置和管理，提供了丰。）的一个分支领域，专注于使计算机能够理解、解释和生成文本，从而让。， 创建一个虚拟环境，并在虚拟环境内安装项目的依赖。数据科学和机器学习平台，用于管理和部署数据科学项目。供了一个开发环境，其中包含了众多常用的数据科学工具和库，如。器，它能够帮助用户创建独立的 Python环境，以便。
（RAG系列）联网搜索的探索及简单实现
qq_51047851的博客
01-16 4647
建立完本地知识库，但是想通过联网搜索获取更多实时的信息，再交给大模型回答，优点是有实时性、丰富内容，缺点也很明显：延长系统回复时间、增加提示词的长度、筛选联网检索的内容的难度大。本文只是对联网搜索的探索及简单实现，想要具体落地还需要进一步优化或者找更优秀的第三方现成方案
如何调用 RAGflow 的 API 接口?
xuukai的博客
03-19 5520
通过以上接口，第三方脚本可以完成向 RAGflow 知识库提供内容并进行 RAG 处理的整个流程。：在完成文档解析后，如果需要从知识库中检索特定内容，可以使用此接口。它会根据用户的问题或关键词，在知识库中查找相关的文档片段（chunks）。：对上传的文档进行解析，将其内容转换为适合 RAG 处理的格式。这个过程会根据文档的类型和内容进行相应的处理，如文本提取、分词等。：在创建会话后，可以使用此接口向聊天助手提问，开启基于知识库的 AI 对话。：在向知识库提供内容之前，需要先创建一个数据集（知识库）。
langchain+rag在线api部署
qq_44293086的博客
07-25 618
一直作为java开发工作者，突然被公司安排调研python大模型，一开始我是拒绝的，所以我开始研究java版本的大模型并有了一定的成就，可惜奈何公司任务java的不稳定（java用的是langchain4j，有兴趣的可以私聊我交流），所以开始调研python版本的，走过了很多的弯路，所以在这里记录一下，让大家一起避坑。直接链接大模型然后用的呢种我就不介绍了，太low了，我直接展示rag版本的大模型。
RAG项目第一集：大模型的本地加载和提供API接口
AAI666666的博客
05-22 1240
于这个项目来说，因为考虑到数据不能出公司，所以不能用OPENAI的模型和接口，选择开源的大模型成了首要的问题，可根据显卡等配置的具体情况，选择不同参数的模型，笔者测试了llama2的13B模型，感觉不错，但是FASTCHAT不支持4Bite量化，所以改成了阿里的通义千问7B，也可以更好的理解中文。
5分钟带你了解：AI联网搜索与RAG如何选择与应用
leah126的博客
08-06 7104
综上所述，我们可以简单地总结三者的优势与劣势：网络搜索知识更适合于时效性极强，或是高质量信息来源网页的问题RAG 更适合于专业性知识或私有知识依赖内在知识适合几乎无时效性的问题写到这里，希望 AI 时代的大家也可以像 MindSearch 一样快速搜集整合信息，像 RAG 一样丰富专业知识，最后将这些知识内化为自己的内在知识。黑客&网络安全如何学习1.学习路线图攻击和防守要学的东西也不少，具体要学的东西我都写在了上面的路线图，如果你能学完它们，你去就业和接私活完全没有问题。2.视频教程。
大模型系列——解读RAG
我相信......
02-04 3254
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构，但什么是RAG呢？RAG又涉及了哪些具体的技术呢？1. 什么是RAGRAG即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG ...
TS版LangChain实战：基于文档的增强检索（RAG） | 京东云技术团队
JDDTechTalk的博客
11-28 2295
围绕以上设计原则，LangChain解决了现在开发人工智能应用的一些切实痛点。另外作为一个胶水层框架，极大地提高了开发效率，它的作用可以类比于jquery在前端开发中的角色，使得开发者可以更专注于创新和优化产品功能。
Llama2+本地RAG构建
02-20
<think>嗯，用户之前问了关于在本地使用DeepSeek模型的方案，现在又问Llama2+本地RAG构建。我需要先理解这两个概念的关系。用户可能是想了解如何结合Llama2和RAG来搭建本地问答系统，作为开源替代方案。 首先，得确认用户对RAG的理解程度。RAG是检索增强生成，结合了检索和生成模型。Llama2是Meta的开源大模型，适合本地部署。用户可能想知道具体的步骤，比如如何准备数据、选择模型、搭建系统。 用户之前得到过关于DeepSeek官方和开源方案的对比，现在转向具体实现的开源方案。需要详细说明Llama2和RAG的结合方法，可能包括技术选型、步骤、代码示例，以及优缺点。 要注意用户可能的技术背景，可能是开发者或研究人员，需要实用指导。需要分步骤讲解，从数据准备到部署，给出代码示例，比如使用Hugging Face的模型和ChromaDB。 还要考虑用户可能遇到的挑战，比如显存不足、检索效果优化、模型微调等，给出注意事项和建议。对比之前的回答，保持结构一致，但更聚焦在Llama2和RAG的结合上。 最后，总结适用场景，帮助用户决定是否选择这个方案。确保语言通俗，避免过多术语，但作为技术方案，适当的技术细节是必要的。可能需要检查是否有遗漏的步骤或潜在问题，比如数据预处理的重要性，或者模型选择的替代方案。</think>以下是关于使用 **Llama2 + 本地RAG** 构建本地问答系统的技术方案详解： --- ### **核心架构原理** ```mermaid graph LR A[用户提问] --> B(文本向量化) B --> C[向量数据库检索] C --> D[构建Prompt] D --> E[Llama2生成回答] E --> F[最终答案] ``` 通过 **检索增强生成（RAG）** 将外部知识库与Llama2结合，突破大模型固有知识限制，实现精准的领域知识问答。 --- ### **技术实现六步曲** #### **1. 知识库准备** - 支持格式：PDF/TXT/Markdown/数据库 - 预处理代码示例： ```python from langchain.document_loaders import DirectoryLoader # 加载本地文档 loader = DirectoryLoader('./docs', glob='**/*.txt') documents = loader.load() # 文本分割 from langchain.text_splitter import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50) chunks = text_splitter.split_documents(documents) ``` #### **2. 向量化引擎选择** - 推荐方案： ```python # 中文Embedding模型 from langchain.embeddings import HuggingFaceEmbeddings embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5") # 英文场景可替换为： # embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2") ``` #### **3. 向量数据库搭建** - ChromaDB本地部署方案： ```python from langchain.vectorstores import Chroma # 持久化存储向量库 vectordb = Chroma.from_documents( documents=chunks, embedding=embeddings, persist_directory="./chroma_db" ) ``` #### **4. Llama2本地部署** - 最低硬件要求： ```markdown - 7B版本：RTX 3090(24GB) *1 - 13B版本：RTX 3090 *2 - 70B版本：需要A100(80GB) *4 ``` - 使用vLLM加速推理： ```python from vllm import LLM, SamplingParams llm = LLM(model="meta-llama/Llama-2-7b-chat-hf") sampling_params = SamplingParams(temperature=0.5, max_tokens=500) ``` #### **5. RAG流程整合** - 核心处理逻辑： ```python def rag_pipeline(query): # 向量检索 retriever = vectordb.as_retriever(search_kwargs={"k": 3}) docs = retriever.get_relevant_documents(query) # 构建Prompt context = "\n".join([doc.page_content for doc in docs]) prompt = f"""基于以下信息用中文回答： {context} 问题：{query} 答案：""" # 生成回答 outputs = llm.generate(prompt, sampling_params) return outputs[0].text ``` #### **6. 交互接口开发** - 快速构建Web API： ```python from flask import Flask, request app = Flask(__name__) @app.route('/ask', methods=['POST']) def ask(): question = request.json['question'] return {'answer': rag_pipeline(question)} if __name__ == '__main__': app.run(host='0.0.0.0', port=8000) ``` --- ### **性能优化技巧** 1. **混合检索策略** ```python # 结合关键词+向量混合检索 from langchain.retrievers import BM25Retriever, EnsembleRetriever bm25_retriever = BM25Retriever.from_documents(chunks) ensemble_retriever = EnsembleRetriever( retrievers=[bm25_retriever, vectordb.as_retriever()], weights=[0.3, 0.7] ) ``` 2. **缓存加速** ```python # 使用磁盘缓存 from langchain.cache import SQLiteCache import langchain langchain.llm_cache = SQLiteCache(database_path=".langchain.db") ``` 3. **量化压缩** ```bash # 使用GGUF量化格式 ./llama.cpp/quantize llama-2-7b.Q4_0.gguf ``` --- ### **方案优势与局限** | 维度 | 优势 | 局限 | |-------------|-------------------------------|-------------------------------| | 知识更新 | 🟢 支持实时更新知识库 | 🔴 需要定期维护向量库 | | 硬件成本 | 🟢 单卡GPU可运行 | 🔴 70B模型需要高端显卡 | | 响应速度 | 🟡 3-5秒级响应 | 🔴 比API方案慢 | | 准确率 | 🟡 依赖检索质量 | 🔴 存在幻觉风险 | -- ### **典型应用场景** 1. 企业知识库问答系统 2. 个人数字文档助手 3. 行业法规智能查询 4. 学术论文研究助手 --- **部署建议**： - 从7B版本开始验证原型，逐步升级模型规模 - 使用LangChain框架可快速集成更多功能模块（如联网搜索、代码解释器等） - 对关键领域知识建议进行Llama2的LoRA微调（需准备标注数据）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值