如何使用 Ollama和DeepSeek R1搭建RAG系统？

最新推荐文章于 2025-02-27 15:38:36 发布

冻感糕人~

最新推荐文章于 2025-02-27 15:38:36 发布

阅读量907

点赞数 16

文章标签：服务器前端数据库 DeepSeek-R1 DeepSeek 大模型训练人工智能

本文链接：https://blog.youkuaiyun.com/python12345_/article/details/145545242

版权

如何使用 Ollama和DeepSeek R1搭建RAG系统？

前言

发现大家对 DeepSeek R1 的热情更胜春晚，所以小编过年只能加班加点继续更刊，和大家一起深入学习 DeepSeek R1（其实是担心过完春节上班被 leader PUA）后续更刊 ing!!!

本文章将向你展示 如何使用 Ollama和DeepSeek R1搭建RAG系统？。

后续更刊

如何使用 DeepSeek R1 和 Ollama 搭建 Agent 系统？

一、什么是 RAG？

RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。

RAG的目的是通过从外部知识库检索相关信息来辅助大语言模型生成更准确、更丰富的文本内容。那我们如何理解RAG的检索、增强和生成呢？

检索：检索是RAG流程的第一步，从预先建立的知识库中检索与问题相关的信息。这一步的目的是为后续的生成过程提供有用的上下文信息和知识支撑。
增强：RAG中增强是将检索到的信息用作生成模型（即大语言模型）的上下文输入，以增强模型对特定问题的理解和回答能力。这一步的目的是将外部知识融入生成过程中，使生成的文本内容更加丰富、准确和符合用户需求。通过增强步骤，LLM模型能够充分利用外部知识库中的信息。
生成：生成是RAG流程的最后一步。这一步的目的是结合LLM生成符合用户需求的回答。生成器会利用检索到的信息作为上下文输入，并结合大语言模型来生成文本内容。

RAG的“检索、增强、生成”，谁增强了谁，谁生成了答案，主语很重要。是从知识库中检索到的问答对，增强了LLM的提示词（prompt），LLM拿着增强后的Prompt生成了问题答案。

二、DeepSeek R1 模型的本地部署

DeepSeek R1 模型的本地部署可以参考文章如何使用 Ollama 在本地运行 DeepSeek R1？

三、环境搭建

3.1 构建环境

    $ conda create -n py310 python==3.9.0       # 创建新环境
    $ source activate py310                  # 激活环境

3.2 安装依赖

requirements.txt

langchain_community
streamlit

安装

    $ pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --ignore-installed

四、如何使用 Ollama 和 DeepSeek R1搭建 RAG 系统？

4.1 导入必要的库

为了搭建高效的RAG系统，我们需整合多种专业库以实现各项关键功能。其中：

LangChain库凭借其出色的文档处理与检索能力脱颖而出，它提供了众多实用工具和接口，能够有效简化文档加载、文本分割、嵌入生成及检索等一系列复杂流程。
Streamlit库则专注于打造直观易用的Web界面，使用户能够轻松与系统交互，便捷地输入问题并获取答案。
PDFPlumberLoader可高效提取PDF文件中的文本内容；
SemanticChunker能够智能地将文本分割成语义块；
HuggingFaceEmbeddings负责生成文本的向量嵌入；
FAISS用于构建可搜索的向量数据库；
Ollama则与本地运行的DeepSeek R1模型进行交互。

这些库的引入，为系统的后续开发提供了坚实的技术支撑。

import streamlit as st  
from langchain_community.document_loaders import PDFPlumberLoader  
from langchain_experimental.text_splitter import SemanticChunker  
from langchain_community.embeddings import HuggingFaceEmbeddings  
from langchain_community.vectorstores import FAISS  
from langchain_community.llms import Ollama

4.2 版面分析

使用 Streamlit 实现文件上传功能，并使用 PDFPlumberLoader库解析文件。

# Streamlit file uploader  
uploaded_file = st.file_uploader("Upload a PDF file", type="pdf")  

if uploaded_file:  
    # Save PDF temporarily  
    with open("temp.pdf", "wb") as f:  
        f.write(uploaded_file.getvalue())  

    # Load PDF text  
    loader = PDFPlumberLoader("temp.pdf")  
    docs = loader.load()

4.3 文档分割

借助 SemanticChunker 和 HuggingFaceEmbeddings 的结合，可以根据文本的语义信息进行分割。

这种分割方法不仅考虑文本的长度，更注重将语义相关的内容归为同一块。这使得在后续检索和生成回答时，模型能够更准确地理解上下文，从而提供更符合逻辑和语义的答案。例如，在处理技术文档时，可以将与同一技术概念相关的段落整合在一起，方便模型高效地提取和利用相关信息。

# Split text into semantic chunks  
text_splitter = SemanticChunker(HuggingFaceEmbeddings())  
documents = text_splitter.split_documents(docs)

4.4 知识库构建

为了实现快速且准确的检索，需要对分割后的文本块生成向量嵌入，并将其存储在FAISS索引中。

向量嵌入能够将文本转换为计算机易于处理的数值向量形式，从而提高文本相似度计算的效率。

HuggingFaceEmbeddings提供了强大的嵌入生成功能，能够生成高质量的向量表示。
FAISS作为一种高效的向量数据库，支持快速的相似性搜索，能够在大量向量中迅速找到与查询向量最相似的文本块。

通过设置检索参数“k=3”，系统在搜索时会返回最相关的3个文本块。这种设置与DeepSeek R1模型的检索特性相匹配，确保系统能够快速获取关键信息，为生成准确的回答提供有力支持。

# Generate embeddings  
embeddings = HuggingFaceEmbeddings()  
vector_store = FAISS.from_documents(documents, embeddings)  

# Connect retriever  
retriever = vector_store.as_retriever(search_kwargs={"k": 3})  # Fetch top 3 chunks

4.5 DeepSeek R1 模型接入

使用 DeepSeek R1 1.5B 模型设置 RetrievalQA 链。

这可确保答案以 PDF 的内容为基础，而不是依赖于模型的训练数据。

llm = Ollama(model="deepseek-r1:1.5b")  # Our 1.5B parameter model  

# Craft the prompt template  
prompt = """  
1. Use ONLY the context below.  
2. If unsure, say "I don’t know".  
3. Keep answers under 4 sentences.  

Context: {context}  

Question: {question}  

Answer:  
"""  
QA_CHAIN_PROMPT = PromptTemplate.from_template(prompt)

4.6 使用 Ollama 和 DeepSeek R1搭建 RAG 系统

# Chain 1: Generate answers  
llm_chain = LLMChain(llm=llm, prompt=QA_CHAIN_PROMPT)  

# Chain 2: Combine document chunks  
document_prompt = PromptTemplate(  
    template="Context:\ncontent:{page_content}\nsource:{source}",  
    input_variables=["page_content", "source"]  
)  

# Final RAG pipeline  
qa = RetrievalQA(  
    combine_documents_chain=StuffDocumentsChain(  
        llm_chain=llm_chain,  
        document_prompt=document_prompt  
    ),  
    retriever=retriever  
)

4.7 启动服务

简化使用户能够键入问题并接收即时答案。查询检索匹配的块，将它们馈送到模型中，并实时显示结果。

# Streamlit UI  
user_input = st.text_input("Ask your PDF a question:")  

if user_input:  
    with st.spinner("Thinking..."):  
        response = qa(user_input)["result"]  
        st.write(response)

致谢

https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

DeepSeek无疑是2025开年AI圈的一匹黑马，在一众AI大模型中，DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破，各大科技巨头都火速出手，争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火，远不止于此。它是一场属于每个人的科技革命，一次打破界限的机会，一次让普通人也能逆袭契机。

DeepSeek的优点

read-normal-img

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势，目前懂得大模型技术方面的人才很稀缺，而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行，对于想要转行创业，提升自我的人来说是一个不可多得的机会。

那么应该如何学习大模型

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

read-normal-img

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

read-normal-img

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

read-normal-img