Langchain+Ollama实现Qwen模型+客服问答私有数据FAQ-实现RAG

目标:

部署一个结合大模型和RAG的,客服问题API,如果提问的问题在常见FAQ里,使用FAQ里数据,否则使用大模型回答问题。

本文使用Ollama 直接运行本地 Qwen 模型,需要先安装好ollama。


现在我们将使用 LangChain + Ollama 搭建 RAG(检索增强生成)系统,让它可以:

  1. 从 Excel 读取 FAQ
  2. 将 FAQ 问题转换为向量(使用 Ollama 的 Embedding 模型)
  3. 存入 FAISS 向量数据库
  4. 提供问答接口
    • 优先检索 FAQ(如果 FAQ 匹配度高,直接返回)
    • 匹配度低则让 Ollama 生成答案
  5. 启动 API 服务器,供前端调用

1. 安装必要的库

如果你还没有安装这些库,请运行:

pip install langchain langchain-community faiss-cpu ollama pandas openpyxl fastapi uvicorn

2. 代码:构建 RAG 方案

下面的代码会:

  • 从 Excel 读取 FAQ
  • 计算向量并存入 FAISS
  • 使用 Ollama 进行回答
  • 启动 API 服务器

我们将代码分成 两个部分

  1. build_vector_db.py 👉 负责 一次性构建向量数据库(只在 FAQ 变化时运行)
  2. faq_rag_api.py 👉 负责 实时查询 FAQ & 生成答案(只做检索 & 生成)
🔹 构建向量数据库 (build_vector_db.py)
from langchain_community.document_loaders import DataFrameLoader
from langchain_ollama import OllamaEmbeddings
from langchain_community.vectorstores import FAISS
from langchain_core.documents import Document  # 确保 FAQ “答案”存入 metadata
import pandas as pd

file_path = "客服问答素材.xlsx"
df = pd.read_excel(file_path)

# 重新组织数据,确保 "答案" 存入 metadata
df = df.rename(columns={"问题": "question", "答案": "answer"}).dropna()
documents = [Document(page_content=row["question"], metadata={"answer": row["answer"]}) for _, row in df.iterrows()]

# 计算 FAQ 问题的向量(Embedding)
MODEL_NAME = "qwen2.5:0.5b"
embedding_model = OllamaEmbeddings(model=MODEL_NAME)
vector_store = FAISS.from_documents(documents, embedding_model)

# 存储向量数据库
vector_store.save_local("faq_index")
print("✅ FAQ 向量数据库构建完成!")

Excel数据如下

问题答案
小红书分享活动什么时候开始?可以参与几次?2025年3月11日-3月17日10:00:00,本活动每人、每个平台的账号仅能参加1次,如使用多个京东账号上传同一篇笔记,系统将自动判定参加无效。
笔记内容方向有范围吗?方向①已在京东享受国补的朋友,发笔记分享3C数码、家电家居等购物体验和攻略,内容体现不同平台对比后,京东价格更优、服务更好的笔记更佳。方向②把京东国补的好消息分享给亲朋好友,号召大家一起参与领补贴。
小红书分享活动内容有要求带的话题吗?粉丝量有要求吗?带上双话题#京东国补 #领国补就上京东。本次活动要求用户本人的小红书账号粉丝量必须≥50,否则视为参加无效。
小红书分享活动笔记可以提交几次?可以修改吗?本次活动每位用户仅能参加1次,(上传后不可修改内容,请确认信息准确后再提交噢),每篇笔记限领1次。请您提交前认真核对信息,避免影响京豆奖励发放,感谢您的理解和支持。
奖励什么时候发?/什么时候发放京豆?/在哪里查看?京豆奖励非实时发放。经系统审核后,奖励预计在2025年3月25日当天24点前由系统自动发放,具体时间以到账为准;您可在京东APP-我的-京豆-京豆收支明细中查看(京豆有效期为180天),京豆数量有限,送完即止。

 🔹实时查询 FAQ & 生成答案(faq_rag_api.py) 
from fastapi import FastAPI
from langchain_community.vectorstores import FAISS
from langchain.chains import RetrievalQA
from langchain_community.llms import Ollama
from langchain_ollama import OllamaEmbeddings
from langchain_core.prompts import PromptTemplate

app = FastAPI()

# 1. 加载 FAQ 向量数据库
MODEL_NAME = "qwen2.5:0.5b"
embedding_model = OllamaEmbeddings(model=MODEL_NAME)
vector_store = FAISS.load_local("faq_index", embedding_model, allow_dangerous_deserialization=True)

# 2. 修改检索器,返回 metadata["answer"],并筛选匹配度
# retriever = vector_store.as_retriever(search_kwargs={"k": 3})  # 取最相关的 3 个 FAQ

def custom_retriever(query):
    """ 遍历所有匹配的 FAQ,找到最佳答案 """
    #docs = retriever.get_relevant_documents(query)
    docs_with_scores = vector_store.similarity_search_with_relevance_scores(query, k=1)  # 获取 FAQ 及相似度分数
    if docs_with_scores:
        best_doc, best_score = docs_with_scores[0]  # LangChain 自动返回匹配度最高的 FAQ
        # 设定匹配度阈值,防止错误 FAQ
        if best_score >= 0.7:
            return best_doc.metadata["answer"]

    return None  # 没有合适的 FAQ,交给大模型生成


# 3. 修改问答逻辑
@app.post("/chat")
def chat(request: dict):
    """ 处理用户提问,返回 FAQ 或 Ollama 生成的答案 """
    faq_answer = custom_retriever(request["query"])
    
    if faq_answer:
        return {"answer": faq_answer}  # 直接返回 FAQ 的“答案”

    # 如果 FAQ 里没有匹配的,就让 Ollama 生成
    llm = Ollama(model=MODEL_NAME)
    response = llm.invoke(request["query"])
    return {"answer": response}

# 运行 API 服务器:
# uvicorn faq_rag_api:app --host 0.0.0.0 --port 8000

3. 启动 API 服务器

uvicorn faq_rag:app --host 0.0.0.0 --port 8000

然后,你可以用 前端Postman 进行测试:

curl -X POST "http://localhost:8000/chat" -H "Content-Type: application/json" -d '{"query": "如何修改密码?"}'

它会:

  • 如果 FAQ 里有这个问题,返回 FAQ 里的标准答案
  • 如果 FAQ 里没有匹配项,让 Ollama 生成答案

4. 让前端连接 API

如果你有 网页客服前端,可以用 JavaScript 调用:

async function askQuestion() {
    let query = document.getElementById("question").value;
    let response = await fetch("http://localhost:8000/chat", {
        method: "POST",
        headers: { "Content-Type": "application/json" },
        body: JSON.stringify({ query })
    });
    let data = await response.json();
    document.getElementById("answer").innerText = data.answer;
}

5. 可选:Docker 部署

你可以用 Docker 容器化 这个 API:

🔹 创建 Dockerfile
FROM python:3.9
WORKDIR /app
COPY . /app
RUN pip install -r requirements.txt
CMD ["uvicorn", "faq_rag:app", "--host", "0.0.0.0", "--port", "8000"]

然后:

docker build -t faq-chatbot .
docker run -p 8000:8000 faq-chatbot

✅ 总结

功能实现方式
读取 FAQ 数据直接从 Excel (xlsx) 读取
存储 FAQ 问题的向量FAISS 进行检索
大模型问答Ollama (Qwen-7B)
API 提供服务FastAPI
可接入 Web 客服系统JavaScript 调用 API
支持 Docker 部署

🚀 这样,你的 AI 客服 RAG 系统就搭建好了!

  • 📌 优先检索 FAQ,减少 LLM 生成成本
  • 📌 超出 FAQ 问题才让 Ollama 生成
  • 📌 支持本地运行,无需云 API 费用
  • 📌 前端可调用 API,无缝集成 Web 客服
<think>嗯,用户希望了解AI智能问答系统的开发思路和方法,而且特别提到要参考之前提供的几个引用内容。用户看起来是技术人员或产品经理,正在规划或研究这类系统的构建。从引用内容来看,用户提供了丰富的行业案例和技术方向:[^1]是通用场景的智能问答系统概述;[^2]展示了京东的AI客服实践;[^3]是医疗知识图谱的具体实现;[^4]则涉及最新的大模型RAG技术。用户没有提出具体行业限制,说明需要通用方法论。我考虑设计一个分层的技术框架来组织回复。核心难点在于如何平衡知识覆盖率和响应准确性——纯规则系统太局限,纯大模型又可能胡编乱造。引用[^4]提到的RAG架构值得重点阐述,既能利用企业私有数据,又能保持大语言模型的推理能力。注意到用户上次询问过“开发思路和方法”,这次更聚焦“思路”。考虑先展示宏观技术选型(规则/检索/生成/混合四类),再用分层架构图解释组件关系。对于企业用户,还需要强调知识获取成本这个痛点,引用[^3]医疗知识图谱的构建过程能很好说明这一点。准备提到知识表示的技术细节。虽然用户可能是决策者,但引用[^4]里的RAG实现机制值得解释清楚——比如怎样用Elasticsearch检索文档块,再用DeepSeek-V2模型生成答案。LangChain这类协调工具的使用案例(引用[^4])应该有助于理解工程落地。最后规划优化方向时,准备结合引用[^2]的京东案例说明多轮对话和意图识别,这比单纯罗列技术术语更有说服力。用户没提预算限制,所以方案会包含高端选项如大模型微调,但也会给出基于规则的轻量级替代方案。</think> 好的,基于提供的引用信息并结合AI智能问答系统开发的行业实践,以下是**AI智能问答系统**的**开发思路与方法**的详细解析,旨在提供一个技术清晰、步骤明确的构建框架: ## 核心目标:构建一个能准确理解用户自然语言问题,并从特定知识源(结构化/非结构化)中检索、推理并生成高质量回答的系统。 --- ## 一、核心开发思路(宏观架构) ### 1. 确定系统类型与知识源 (核心差异点) * **领域/任务导向**:确定是**开放域**(回答任意问题,依赖通用知识)还是**垂直领域**(如医疗、金融、客服,依赖专业知识图谱/文档)[^3]。 * **知识来源**: * **结构化知识**:如知识图谱 (Entity-Relationship)、数据库。[^3] * **非结构化知识**:文档(PDF, Word)、网页、API接口响应、对话记录。[^4] * **混合知识**:结合结构化和非结构化知识(主流趋势)。[^3][^4] * **问答方式**:单轮问答、多轮对话、复杂推理与任务执行。[^2] ### 2. 主流技术路线选择(关键决策) * **基于规则/模板**:早期系统常用,适合结构清晰、问题模式固定的简单场景(如QA对匹配)。灵活性差。 * **基于检索(IR)**:将问题与文档库中候选文档/片段进行匹配(如TF-IDF, BM25, 向量召回),返回最相关的片段。精度有限,缺乏深入理解。[^4]提及`Retriever` * **基于深度学习/预训练模型**:利用BERT、RoBERTa等模型进行问题-答案匹配(QA Matching)或答案抽取(Answer Extraction)。理解能力显著提升。 * **基于大模型生成(Generative)**:使用GPT、LLaMA、DeepSeek、Qwen等大语言模型直接理解问题并生成答案(`Zero-shot`/`Few-shot`)。能力强,但可能生成不准确信息(“幻觉”)。[^4]提及`Generator` * **基于RAG(Retrieval-Augmented Generation) - 混合路线(强烈推荐)[^4]**: * **Retrieve**:问题输入 -> `Retriever` (e.g., Elasticsearch, FAISS向量库) -> 检索相关文档/知识片段。 * **Augment**:将检索到的片段(上下文)与原始问题一起输入给**Generator**(LLM)。 * **Generate**:LLM基于上下文和问题生成更准确、事实依据更强的答案。**大幅减少“幻觉”,提升回答可靠性**。这是当前最主流和高效的方法。 * **基于智能体(Agent)**:利用Agent框架(LangChain, Ray, ReAct)协调多个组件(调用API、查询数据库、执行工具),完成复杂任务和多轮对话。适合需要逻辑推理和动作执行的场景。[^2][^4] * **基于知识图谱推理**:特别适用于结构化知识强(如医疗、金融),需要进行关系推理的场景。问题经过NER、实体链接、关系抽取匹配到知识图谱的路径,得到答案。[^3] ### 3. 分层架构设计(典型技术栈) ``` +------------------------+ | 用户界面 | (Web/Mobile App, Chat Widget) +------------------------++------------------------+ | 接口层(API) | (Spring Boot/Flask/FastAPI 提供REST/gRPC接口) +------------------------++------------------------+ | 核心处理引擎 | |------------------------| | * 理解模块 | (意图识别、实体识别、情感分析[^2]) | * 检索模块 | (Elasticsearch, FAISS, Solr, BM25/Vector检索[^4]) | * 推理/生成模块 | (LLM: Qwen/DeepSeek/LLaMA; KBQA引擎[^3]) | * 智能体协调器 (可选) | (LangChain[^4], Ray, ReAct) | * 对话状态管理(可选) | (跟踪多轮上下文[^2]) +------------------------++------------------------+ | 数据层 | |------------------------| | * 知识存储 | (知识图谱图数据库: Neo4j/JanusGraph; 文档向量库: FAISS/Chroma[^4]) | * 模型存储 | (Hugging Face Hub, 本地模型服务器) | * 文档存储 | (对象存储: MinIO/S3; DB: MySQL/PG) +------------------------+ ``` --- ## 二、关键开发方法与步骤(实践指南) ### 1. 需求分析与知识获取 * **明确用户场景与问题域**:谁是用户?会问什么?期望的回答格式?(FAQ回复?段落?精确数据?) * **知识收集与清洗**: * 爬取网页/文档(需合规)。 * 清洗整理内部文档(PDF, Excel)。 * 构建结构化知识图谱(定义Schema, 抽取实体关系,可能需要NLP工具或人工标注)[^3]。 * **定义问题分类体系**:识别常见意图类别(e.g., ”产品咨询“、”故障报修“、”业务查询“)。 ### 2. 数据处理与知识库构建(系统基石) * **文档切片与向量化**: * 将文档按语义分割成`chunks`。 * 使用嵌入模型(如Text-Embedding-Ada-002, Sentence-BERT, m3e)将`chunks`转换为向量,存入向量数据库(FAISS, Chroma)供检索。[^4] * **知识图谱构建**: * 定义Schema:实体类型(如药品、疾病、症状)及其关系(“治疗”、“引起”、“属于”)。 * 实体/关系抽取:利用NER模型和关系抽取模型从文本中结构化信息,或从结构化数据库转换导入。 * 存储:使用图数据库(Neo4j)高效存储和查询关系。[^3] * **传统索引构建**:对文本构建倒排索引(如Elasticsearch)支持关键词检索。 ### 3. 核心模块开发 * **自然语言理解(NLU)**: * **意图识别**:分类模型(CNN, LSTM, BERT)判断用户问题意图(e.g., `用户说“怎么退款?” -> 意图: “退费咨询”`)。 * **实体识别**:NER模型识别问题中的关键实体(`用户说“阿斯匹林治什么病?” -> 实体: [“阿斯匹林” (药品)]`)。[^2][^3] * **语义表示**:将用户问题转化为向量(用于检索)或结构化查询(用于KG)。 * **知识检索**: * **向量检索**:计算问题向量与知识库中`chunks`向量的相似度(Cosine),返回Top-K相关片段。[^4] * **图谱查询**:将识别的实体和关系映射为图谱查询语句(Cypher/SPARQL),执行查询得到答案三元组或路径。[^3] * **混合检索**:结合向量检索(语义相关)和关键词检索(精确匹配词)。[^4] * **答案生成/推理**: * **RAG**:将检索到的Top-K相关`chunks`作为`context`,连同原始问题一起输入给LLM(`Generator`),提示词模板如下: ```prompt 你是一个客服助理/XX领域专家。请**严格根据**下面提供的上下文信息回答问题。如果上下文无法回答,请回答“我不知道”。上下文:{context_chunk1} ... {context_chunkN} 问题:{user_question} 答案: ``` * **KGQA引擎**:基于查询到的图谱路径或三元组,组装自然语言答案。[^3] * **纯生成(谨慎使用)**:直接用LLM回答问题(适合创意性、开放性回答,不适合精准事实问答)。 * **对话管理与智能体(进阶)**: * **跟踪对话状态**:维护历史对话记录(Memory)。 * **状态机/策略路由**:根据NLU结果和当前状态决定下一步动作(如确认用户意图、反问澄清、调用API)。 * **智能体编排**:使用LangChain等框架将检索器、API调用器、KG查询器、LLM作为工具(Tools)协调使用。[^4] ### 4. 模型训练与优化(提升性能) * **模型选择与调优**: * 基础模型:选择合适的开源/商用LLM(Qwen, DeepSeek, GLM等)作为Generator。[^4] * 嵌入模型:选用高质量嵌入模型(m3e, bge-m3)。 * **微调(Fine-tuning)**:当有**充足标注数据**时,对特定任务模型(意图识别, NER)或基础LLM进行领域微调(Domain Adaptation),大幅提升效果。方法:LoRA/QLoRA微调。 * **提示工程(Prompt Engineering)**:不断优化给LLM的提示词模板(System Prompt, Few-Shot示例)提高RAG效果。 * **检索优化**: * 优化文档切分策略(按句子/段落/语义边界)。 * 重排序(Re-ranking):使用交叉编码器模型(Cross-Encoder)对初步检索出的Top-N文档进行精排。 * **评估与反馈闭环**: * **离线评估**:BLEU/ROUGE、准确率(Exact Match - EM)、F1值、相关性打分、人工评估。 * **在线评估(A/B测试)**:上线后对比不同策略(模型、检索参数)。 * **利用用户反馈**:记录用户对回答的点赞/点踩/修改建议,用于后续模型迭代。 ### 5. 部署与集成 * **后端API服务化**:使用Spring Boot(Java)或Flask/FastAPI(Python)封装核心引擎。 * **前端对接**:通过Web/App SDK或Chat Widget集成。 * **企业集成**:与企业IM(钉钉/企微/飞书)、CRM、知识库系统集成。 * **可观测性**:监控系统响应时间、错误率、LLM调用情况、检索结果质量。 * **弹性伸缩**:应对高并发(Kubernetes集群部署)。 * **安全性**:用户权限控制、输入输出过滤、敏感信息脱敏。 --- ## 三、关键考量因素 1. **准确性 vs 流畅性**:RAG路线通过提供上下文在确保准确性的同时保持流畅性,通常优于纯生成模型。[^4] 2. **知识更新**:文档知识更新后需重新切片嵌入到向量库;图谱需维护知识更新流程。增量更新能力很重要。 3. **成本**:LLM API调用费用(商用)或GPU推理成本(开源自部署)。向量检索也需一定计算资源。 4. **幻觉控制**:通过RAG的强约束和明确提示(“根据上下文回答”)是主要对抗幻觉手段。 5. **垂直领域挑战**:领域术语、知识表示、模型适应是难点,通常需要微调或精心构建知识图谱。[^3] --- ##
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值