如何使用 Ollama和DeepSeek R1搭建RAG系统?

如何使用 Langchain、Ollama 和 Streamlit 构建 RAG 在本博客完成中,我们将指导您创建可在本地运行的 RAG 的过程。这个过程不仅会加深您对尖端语言如何计算机工作的理解,还将使您能够在自己的项目中实施它们无论您是希望将 RAG 集成到现有应用程序中,还是只是探索 NLP 的前沿领域,本教程都是您的入门之选。 阅读详情

如何使用 Ollama和DeepSeek R1搭建RAG系统?

前言

发现大家对 DeepSeek R1 的热情更胜春晚,所以小编过年只能加班加点继续更刊,和大家一起深入学习 DeepSeek R1(其实是担心过完春节上班被 leader PUA)后续更刊 ing!!!

本文章将向你展示 如何使用 Ollama和DeepSeek R1搭建RAG系统?。

后续更刊

  • 如何使用 DeepSeek R1 和 Ollama 搭建 Agent 系统?

一、什么是 RAG?

img

RAG(Retrieval-Augmented Generation,检索增强生成) 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息,并将其作为提示(Prompt)输入给大型语言模型(LLMs),以增强模型处理知识密集型任务的能力,如问答、文本摘要、内容生成等。

RAG的目的是通过从外部知识库检索相关信息来辅助大语言模型生成更准确、更丰富的文本内容。那我们如何理解RAG的检索、增强和生成呢?

  • 检索:检索是RAG流程的第一步,从预先建立的知识库中检索与问题相关的信息。这一步的目的是为后续的生成过程提供有用的上下文信息和知识支撑。
  • 增强:RAG中增强是将检索到的信息用作生成模型(即大语言模型)的上下文输入,以增强模型对特定问题的理解和回答能力。这一步的目的是将外部知识融入生成过程中,使生成的文本内容更加丰富、准确和符合用户需求。通过增强步骤,LLM模型能够充分利用外部知识库中的信息。
  • 生成:生成是RAG流程的最后一步。这一步的目的是结合LLM生成符合用户需求的回答。生成器会利用检索到的信息作为上下文输入,并结合大语言模型来生成文本内容。

RAG的“检索、增强、生成”,谁增强了谁,谁生成了答案,主语很重要。是从知识库中检索到的问答对,增强了LLM的提示词(prompt),LLM拿着增强后的Prompt生成了问题答案。

二、DeepSeek R1 模型的本地部署

DeepSeek R1 模型的本地部署 可以参考文章 如何使用 Ollama 在本地运行 DeepSeek R1?

三、环境搭建

3.1 构建环境

    $ conda create -n py310 python==3.9.0       # 创建新环境
    $ source activate py310                  # 激活环境

3.2 安装依赖

requirements.txt

langchain_community
streamlit

安装

    $ pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --ignore-installed

四、如何使用 Ollama 和 DeepSeek R1搭建 RAG 系统?

4.1 导入必要的库

img

为了搭建高效的RAG系统,我们需整合多种专业库以实现各项关键功能。其中:

  • LangChain库凭借其出色的文档处理与检索能力脱颖而出,它提供了众多实用工具和接口,能够有效简化文档加载、文本分割、嵌入生成及检索等一系列复杂流程。
  • Streamlit库则专注于打造直观易用的Web界面,使用户能够轻松与系统交互,便捷地输入问题并获取答案。
  • PDFPlumberLoader可高效提取PDF文件中的文本内容;
  • SemanticChunker能够智能地将文本分割成语义块;
  • HuggingFaceEmbeddings负责生成文本的向量嵌入;
  • FAISS用于构建可搜索的向量数据库;
  • Ollama则与本地运行的DeepSeek R1模型进行交互。

这些库的引入,为系统的后续开发提供了坚实的技术支撑。

import streamlit as st  
from langchain_community.document_loaders import PDFPlumberLoader  
from langchain_experimental.text_splitter import SemanticChunker  
from langchain_community.embeddings import HuggingFaceEmbeddings  
from langchain_community.vectorstores import FAISS  
from langchain_community.llms import Ollama

4.2 版面分析

使用 Streamlit 实现文件上传功能,并使用 PDFPlumberLoader库 解析 文件。

# Streamlit file uploader  
uploaded_file = st.file_uploader("Upload a PDF file", type="pdf")  

if uploaded_file:  
    # Save PDF temporarily  
    with open("temp.pdf", "wb") as f:  
        f.write(uploaded_file.getvalue())  

    # Load PDF text  
    loader = PDFPlumberLoader("temp.pdf")  
    docs = loader.load()

4.3 文档分割

借助 SemanticChunker 和 HuggingFaceEmbeddings 的结合,可以根据文本的语义信息进行分割。

这种分割方法不仅考虑文本的长度,更注重将语义相关的内容归为同一块。这使得在后续检索和生成回答时,模型能够更准确地理解上下文,从而提供更符合逻辑和语义的答案。例如,在处理技术文档时,可以将与同一技术概念相关的段落整合在一起,方便模型高效地提取和利用相关信息。

# Split text into semantic chunks  
text_splitter = SemanticChunker(HuggingFaceEmbeddings())  
documents = text_splitter.split_documents(docs)

img

4.4 知识库构建

为了实现快速且准确的检索,需要对分割后的文本块生成向量嵌入,并将其存储在FAISS索引中。

向量嵌入能够将文本转换为计算机易于处理的数值向量形式,从而提高文本相似度计算的效率。

  • HuggingFaceEmbeddings提供了强大的嵌入生成功能,能够生成高质量的向量表示。
  • FAISS作为一种高效的向量数据库,支持快速的相似性搜索,能够在大量向量中迅速找到与查询向量最相似的文本块。

通过设置检索参数“k=3”,系统在搜索时会返回最相关的3个文本块。这种设置与DeepSeek R1模型的检索特性相匹配,确保系统能够快速获取关键信息,为生成准确的回答提供有力支持。

# Generate embeddings  
embeddings = HuggingFaceEmbeddings()  
vector_store = FAISS.from_documents(documents, embeddings)  

# Connect retriever  
retriever = vector_store.as_retriever(search_kwargs={"k": 3})  # Fetch top 3 chunks

4.5 DeepSeek R1 模型接入

使用 DeepSeek R1 1.5B 模型设置 RetrievalQA 链。

这可确保答案以 PDF 的内容为基础,而不是依赖于模型的训练数据。

llm = Ollama(model="deepseek-r1:1.5b")  # Our 1.5B parameter model  

# Craft the prompt template  
prompt = """  
1. Use ONLY the context below.  
2. If unsure, say "I don’t know".  
3. Keep answers under 4 sentences.  

Context: {context}  

Question: {question}  

Answer:  
"""  
QA_CHAIN_PROMPT = PromptTemplate.from_template(prompt)

4.6 使用 Ollama 和 DeepSeek R1搭建 RAG 系统

# Chain 1: Generate answers  
llm_chain = LLMChain(llm=llm, prompt=QA_CHAIN_PROMPT)  

# Chain 2: Combine document chunks  
document_prompt = PromptTemplate(  
    template="Context:\ncontent:{page_content}\nsource:{source}",  
    input_variables=["page_content", "source"]  
)  

# Final RAG pipeline  
qa = RetrievalQA(  
    combine_documents_chain=StuffDocumentsChain(  
        llm_chain=llm_chain,  
        document_prompt=document_prompt  
    ),  
    retriever=retriever  
)

4.7 启动服务

简化使用户能够键入问题并接收即时答案。查询检索匹配的块,将它们馈送到模型中,并实时显示结果。

# Streamlit UI  
user_input = st.text_input("Ask your PDF a question:")  

if user_input:  
    with st.spinner("Thinking..."):  
        response = qa(user_input)["result"]  
        st.write(response)

致谢

  • https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

DeepSeek无疑是2025开年AI圈的一匹黑马,在一众AI大模型中,DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破,各大科技巨头都火速出手,争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火,远不止于此。它是一场属于每个人的科技革命,一次打破界限的机会,一次让普通人也能逆袭契机。

DeepSeek的优点

read-normal-img

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势,目前懂得大模型技术方面的人才很稀缺,而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行,对于想要转行创业,提升自我的人来说是一个不可多得的机会。

那么应该如何学习大模型

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

大模型岗位需求越来越大,但是相关岗位人才难求,薪资持续走高,AI运营薪资平均值约18457元,AI工程师薪资平均值约37336元,大模型算法薪资平均值约39607元。

read-normal-img

掌握大模型技术你还能拥有更多可能性:

• 成为一名全栈大模型工程师,包括Prompt,LangChain,LoRA等技术开发、运营、产品等方向全栈工程;

• 能够拥有模型二次训练和微调能力,带领大家完成智能对话、文生图等热门应用;

• 薪资上浮10%-20%,覆盖更多高薪岗位,这是一个高需求、高待遇的热门方向和领域;

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。为了让大家少走弯路,少碰壁,这里我直接把都打包整理好,希望能够真正帮助到大家。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】在这里插入图片描述

👉AI大模型学习路线汇总👈

大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)

read-normal-img

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

read-normal-img

👉大模型视频和PDF合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

read-normal-img

read-normal-img

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

read-normal-img

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】在这里插入图片描述

5分钟搭建私域RAG 系统:DeepSeek-R1 + LangChain + Ollama 目标是在本地运行一个 RAG 系统,能够处理 PDF 文档,保障数据隐私,并能高效回答与文档内容相关的问题 阅读详情

相关推荐

Keil v5.11给STM32烧录程序记录

1)安装KeilMDK511 2)安装ST Link下载器驱动 3)打开Keil v5,加载工程文件 4)load pack(Keil.STM32F1xx_DFP.1.1.0和Keil.STM32F0xx_DFP.1.2.0) 5)编译程序- 0 Error(s), 0 Warning(s). 6)烧录程序 ...

守望的距离 6282

【LLM大模型】使用Ollama本地离线体验SimpleRAG(手把手教程)

Ollama是一个开源项目,专注于开发和部署大语言模型,特别是像LLaMA这样的模型,用于生成高质量的文本和进行复杂的自然语言处理任务。

2301_81940605的博客 2067

Protege本体建模实战:从零构建电影知识图谱并导入Neo4j

本体建模是知识图谱构建的基石,通过类、属性、实例和约束系统描述领域知识,为数据提供可复用的语义骨架。OWL作为本体描述语言的标准,配合Protege工具可实现可视化建模,并借助推理机验证逻辑一致性,提升模型可靠性。在工程落地中,本体模型常需导入图数据库如Neo4j,以支持高效的关联查询与业务应用。本文以影视领域为背景,完整演示Protege中定义类层级、创建对象/数据属性、填充实例,以及导出OWL文件并通过Python脚本转换为Neo4j节点与关系的全过程,同时梳理命名空间、匿名节点、编码等易踩坑点,帮助读

weixin_29047545的博客 284

通过 Ollama、Langchain 实现 RAG

RAG 在 Langchain 上的定义是,作为大语言模型最常用的场景就是问答系统,可以针对特别来源数据做问题回答,就是私有数据,这就是 RAG,英文全称是Retrieval Augmented Generation。就是对现有模型数据的增广,大语言模型都是在公众数据上训练,而且只是拿到了某一个时间点之前的数据。RAG 是数据增广,也可以说是数据过滤,按照今天大模型的发展,上下文的长度已经卷到200 万个汉字的无损上下文,那么 RAG 会不会以后就不需要了,每次对话都把文档带上,让我们拭目以待。

hawk2014bj的博客 5086

基于 CodeMirror 6 与 Vite 构建极简在线代码编辑器的核心原理与实践

在线代码编辑器是前端开发领域的重要工具,它允许开发者在浏览器中直接编写、运行和调试代码。其核心原理通常基于成熟的编辑器内核(如 CodeMirror 或 Monaco Editor)与实时预览技术,通过 iframe 沙箱实现代码的安全执行。这类技术的核心价值在于提供了轻量级、可嵌入、零配置的编码环境,极大地提升了代码演示、教学、快速原型验证的效率。在实际应用中,它常被集成到技术文档、在线教程和协作平台中,用于创建可交互的示例。本文以 **CodeMirror 6** 和 **Vite** 构建的极简编辑器

weixin_30652491的博客 337

WSL中使用VMD图形化界面

【代码】WSL中使用VMD图形化界面。

handsome213的博客 844

ChatOllama | 基于Ollama实现100%本地化RAG应用

RAG - 检索增强生成,是优化大型语言模型的输出的过程,使其在生成响应之前引用其训练数据源之外的权威知识库。大型语言模型(LLMs)在大量数据上进行训练,并使用数十亿个参数来为回答问题、翻译语言和完成句子等任务生成原始输出。

2301_81888214的博客 1878

笔试题-2023-星宸-数字IC设计【纯净题目版】

4 笔试题-2023-星宸-数字IC设计【纯净题目版】

w0shishabi的博客 1172

Ollama利用嵌入模型实现RAG应用

Ollama支持embedding models嵌入模型,从而支持RAG(retrieval augmented generation)应用,结合文本提示词,检索到文档或相关数据。嵌入模型是通过训练生成向量嵌入,这是一长串数字数组,代表文本序列的关联关系。Ollama的嵌入模型有三种:mxbai-embed-large、nomic-embed-text 、all-minilm。

小龙在线 1万+

半导体物理基础:载流子输运理论_(4).载流子浓度与费米能级

费米能级(Fermi Level)是描述半导体中电子和空穴能量分布的基准能级。在绝对零度下,费米能级以下的所有能级都被电子占据,费米能级以上的所有能级都是空的。随着温度的升高,电子会获得足够的能量跃迁到费米能级以上的能级,形成导带中的自由电子和价带中的空穴。费米能级在半导体中的位置取决于掺杂浓度和温度。对于本征半导体,费米能级位于禁带的中心;对于掺杂半导体,费米能级会偏移,具体位置取决于掺杂类型和浓度。载流子浓度(Carrier Concentration)是指半导体中自由电子和空穴的数量密度。

2401_87715305的博客 840

PCL 中实现平面模型分割【2026最新版】

RANSAC分割平面。博客长期更新,最近一次更新时间为:2026年5月4日。

点云侠的博客 38万+

如何使用 DeepSeek-R1、LangChain 和 Ollama 搭建隐私优先的 RAG 系统

赘述一下基本概念,检索增强生成(Retrieval-Augmented Generation,简称 RAG)是一种结合信息检索和生成式 AI 的技术架构。RAG 通过从外部知识库(如文档、数据库)中检索相关信息,并将其作为上下文输入给 LLM(大型语言模型),从而提高回答的准确性,减少幻觉问题。我们的目标是在本地运行一个 RAG 系统,能够处理 PDF 文档,保障数据隐私,并能高效回答与文档内容相关的问题。当然,通过修改代码,我们也可以实现处理其他类型的数据。PDF 文档上传。

2401_84208172的博客 2184

C++设计模式之观察者模式

观察者模式(Observer Pattern)是一种行为设计模式,它定义了对象之间的一对多依赖关系,当一个对象状态发生变化时,所有依赖于它的对象都会得到通知并自动更新。这种模式通常用于实现分布式事件处理系统,当一个对象(称为“主题”或“发布者”)改变状态时,所有注册的观察者都会收到通知。

每天进步一点点。 602

手把手实战:用 DeepSeek R1 + Ollama 搭建高效 RAG 系统!

构建一个强大的 RAG(检索增强生成)系统,能够极大提升 AI 在知识问答、信息检索和内容创作中的能力。DeepSeek R1 和 Ollama 作为当前领先的 AI 工具,为 RAG 系统的开发提供了强大支持,让开发者能够更加高效地构建智能 AI 解决方案。本指南将详细介绍如何利用这些技术进行 RAG 系统的搭建,涵盖环境设置、核心流程、优化策略和最佳实践。DeepSeek R1 是一款高性能的开源大模型,具备强大的理解和推理能力,适用于多种 AI 任务。

m0_65555479的博客 935

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

使用 DeepSeek R1 和 Ollama 搭建一个 RAG 系统(包含完整代码)

用这个系统,你可以轻松地从 PDF 里提取信息,像跟人聊天一样问问题。赶紧试试吧,释放 AI 的潜力!

python1222_的博客 1726

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【AI大模型实战】手把手教你用 DeepSeek R1 + Ollama 搭建高效 RAG 系统!建议收藏!!

构建一个强大的 RAG(检索增强生成)系统,能够极大提升 AI 在知识问答、信息检索和内容创作中的能力。 DeepSeek R1 和 Ollama 作为当前领先的 AI 工具,为 RAG 系统的开发提供了强大支持,让开发者能够更加高效地构建智能 AI 解决方案。 本指南将详细介绍如何利用这些技术进行 RAG 系统的搭建,涵盖环境设置、核心流程、优化策略和最佳实践。

Android23333的博客 1201

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

使用langchain ollama gradio搭建一个本地基于deepseek r1的RAG问答系统

使用langchain ollama gradio搭建一个本地基于deepseek r1的RAG问答系统

weixin_62428212的博客 3972

本地部署DeepSeek R1 + Ollama + XRAG:三步搭建RAG系统,并解锁全流自动化评测,大模型入门到精通,收藏这篇就足够了!

本文提供了一个详细操作指南,帮助用户使用Ollama本地部署最新的DeepSeek R1模型,并使用最新的XRAG1.0框架来构建RAG系统并评估你的本地RAG知识库系统。

2301_81888214的博客 640

使用 DeepSeek R1 和 Ollama 开发 RAG 系统,看到就是赚到!!

掌握如何借助 DeepSeek R1 与 Ollama 搭建检索增强生成(RAG)系统。本文将通过代码示例,为你提供详尽的分步指南、设置说明,分享打造智能 AI 应用的最佳实践。

bugyinyin的博客 1124
上一篇: 清华大学出品《DeepSeek从入门到精通》超详细使用手册pdf免费分享
下一篇: Ollama+Nginx+4090打造DeepSeek-R1-32B高可用大模型集群,助力企业拥抱AI时代
冻感糕人~
博客等级 码龄3年 8926粉丝 2398原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值