DeepSeek本地部署：基于DeepSeek R1和Ollama开发RAG系统（有实例）

原创最新推荐文章于 2026-08-12 22:06:10 发布 2.8k 阅读 AI写同款

Llama-Turbo

9901粉丝2022篇原创

关注

基于DeepSeek构建RAG 系统综合指南（含代码）在人工智能飞速发展的当下，从海量文档中高效处理、理解和检索信息，成为众多领域的关键需求。检索增强生成（Retrieval-Augmented Generation，RAG）技术应运而生，它代表了 AI 信息处理方式的重大进步。传统语言模型仅依赖预先训练的数据，而 RAG 系统在生成回复前，会动态检索相关信息，就如同为 AI 配备了一个专属 “图书馆”，在回答问题前可随时查阅参考。RAG 系统主要包含检索和生成两大核心能力。阅读详情

AI摘要

本教程详细介绍了如何利用DeepSeek R1开源大语言模型和Ollama工具，在本地部署一个高效的检索增强生成（RAG）系统。内容包括环境准备、安装依赖库、构建向量数据库、文档加载与索引、结合DeepSeek R进行问答，以及如何通过结合多模态数据和优化检索策略来提升系统性能。

最近DeepSeek很火啊！在人工智能领域，检索增强生成（Retrieval-Augmented Generation, RAG）技术已成为提升大模型生成质量的重要手段。DeepSeek R 是一个强大的开源大语言模型，而 Ollama 提供了一种便捷的方式来本地运行和管理大模型。本教程将介绍如何结合 DeepSeek R 和 Ollama，开发一个高效的 RAG 系统，并提供更高级的案例来优化性能。

1. 环境准备

在开始之前，需要确保您的环境满足以下要求：

安装 Python（建议 Python 3.8 及以上）
安装 Ollama
下载并安装 DeepSeek R 模型
安装 chromadb 作为向量数据库
安装 langchain 作为 RAG 框架

1.1 安装 Ollama

Ollama 提供了一个简单的方式来运行本地大模型。可以通过以下命令安装 Ollama：

curl -fsSL https://ollama.ai/install.sh | sh

安装完成后，运行以下命令以验证安装是否成功：

ollama --version

1.2 下载 DeepSeek R 模型

在 Ollama 中运行 DeepSeek R，只需执行以下命令：

ollama pull deepseek-ai/deepseek-r

2. 搭建 RAG 系统

2.1 安装依赖库

使用 pip 安装必要的 Python 库：

pip install chromadb ollama langchain sentence-transformers

2.2 构建向量数据库

import chromadb``from langchain.vectorstores import Chroma``from langchain.embeddings import HuggingFaceEmbeddings``   ``# 使用 HuggingFace 预训练模型进行文本向量化``embedding_model = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2")``   ``# 初始化 Chroma 向量数据库``chroma_client = chromadb.PersistentClient(path="./chroma_db")``vector_store = Chroma(client=chroma_client, embedding_function=embedding_model)

2.3 文档加载与索引

from langchain.document_loaders import TextLoader``from langchain.text_splitter import RecursiveCharacterTextSplitter``   ``doc_loader = TextLoader("./docs/sample.txt")``documents = doc_loader.load()``   ``# 文本切分``text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)``splits = text_splitter.split_documents(documents)``   ``# 存入向量数据库``vector_store.add_documents(splits)

2.4 结合 DeepSeek R 进行问答

from langchain.chains import RetrievalQA``from langchain.llms import Ollama``   ``llm = Ollama(model="deepseek-ai/deepseek-r")``retriever = vector_store.as_retriever()``rag_chain = RetrievalQA(llm=llm, retriever=retriever)``   ``# 测试问答``query = "DeepSeek R 有哪些特点？"``response = rag_chain.run(query)``print(response)

3. 高级案例：优化 RAG 系统

3.1 结合多模态数据

如果希望 RAG 系统支持多模态数据（例如文本、图像、音频等），可以使用 langchain 的多模态处理能力。

from langchain.document_loaders import UnstructuredImageLoader``   ``image_loader = UnstructuredImageLoader("./images/sample.png")``image_documents = image_loader.load()``vector_store.add_documents(image_documents)

3.2 使用更强的检索策略

可以通过 BM25 评分模型结合向量检索，提升 RAG 系统的精确度。

from rank_bm25 import BM25Okapi``   ``tokenized_corpus = [doc.text.split() for doc in splits]``bm25 = BM25Okapi(tokenized_corpus)``   ``def hybrid_retrieval(query, top_k=5):`    `tokenized_query = query.split()`    `bm25_scores = bm25.get_scores(tokenized_query)`    `top_indices = sorted(range(len(bm25_scores)), key=lambda i: bm25_scores[i], reverse=True)[:top_k]`    `return [splits[i] for i in top_indices]

3.3 增强响应生成

可以在 RAG 系统中加入提示词优化，提高生成回答的质量。

prompt_template = """``请根据以下背景信息回答问题：``{context}``   ``问题：{query}``答案：``"""``   ``retrieved_docs = retriever.get_relevant_documents(query)``formatted_context = "\n".join([doc.text for doc in retrieved_docs])``prompt = prompt_template.format(context=formatted_context, query=query)``response = llm(prompt)``print(response)

4. 结论

本教程介绍了如何使用 DeepSeek R 结合 Ollama 来构建一个完整的 RAG 系统，并通过高级案例提升检索和生成质量。未来可以结合更复杂的数据存储、多模态数据支持，以及优化检索策略，进一步增强 RAG 系统的性能，使其适用于更广泛的应用场景。

程序员为什么要学大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望