Deepseek R1打造本地化RAG知识库（一）:安装部署使用详细教程（附教程）

AI大模型教程

于 2025-03-27 15:43:13 发布

阅读量263

点赞数 3

文章标签： llama 私有化部署人工智能知识图谱 RAG 知识库 LLM

本文链接：https://blog.youkuaiyun.com/2401_82469710/article/details/146562718

版权

最近火爆的Deepseek，让我们再次把本地知识库的搭建提上了日程。

在这里插入图片描述

如何使用大模型高效地管理和利用知识，同时解决大模型专业应用方向的能力，成为了迫切需要解决的问题。

RAG（Retrieval-Augmented Generation）增强信息检索和生成模型，能够从大规模知识库中检索相关信息并生成高质量的反馈。

本文将详细介绍如何使用Ollama、Deepseek R1大语音模型、Nomic-Embed-Text向量模型和AnythingLLM共同搭建一个本地的私有RAG知识库。

0. 准备工作

什么是RAG？

RAG是一种结合了信息检索和大模型（LLM）的技术，在对抗大模型幻觉、高效管理用户本地文件以及数据安全保护等方面具有独到的优势。

在这里插入图片描述

主要包括：

索引：将文档库分割成较短的 Chunk，并通过编码器构建向量索引。
检索：根据问题和 chunks 的相似度检索相关文档片段。
生成：以检索到的上下文为条件，生成问题的回答。

在开始之前，确保我们需要使用的工具和库：

Ollama
Deepseek R1 LLM模型
Nomic-Embed-Text向量模型
AnythingLLM

1. 安装 Ollama

Ollama 是一个用于本地运行大型语言模型的工具。

可以通过以下步骤安装 Ollama：

1.1 下载 Ollama

访问 Ollama 的 https://ollama.com/官方网站，下载适合你操作系统的安装包。

在这里插入图片描述

1.2 安装 Ollama

在这里插入图片描述

1.3 验证安装

打开终端或命令提示符，输入 ollama --version，确保安装成功。

在这里插入图片描述

1.4 Ollama常用命令

在这里插入图片描述

2. 配置 DeepSeek R1 模型

2.1 下载 DeepSeek R1 模型

从 Ollama的官方网站下载 DeepSeek R1 模型文件。

ollama run deepseek-r1:7b

2.2 启动模型

启动和下载模型是同一个命令，如果没有下载过的新模型会直接下载，以及下载过的则直接启动。

ollama run deepseek-r1:7b

3. 配置 Nomic-Embed-Text 模型

3.1 下载 Nomic-Embed-Text 模型

从 Ollama的官方网站下载 nomic-embed-text 模型文件。

ollama pull nomic-embed-text

3.2 模型下载完成

在这里插入图片描述

4. 安装AnythingLLM

AnythingLLM 是一个功能强大且灵活的开源平台，旨在帮助用户轻松构建和部署基于大型语言模型 (LLM) 的私有化应用程序。

在这里插入图片描述

它提供了直观的用户界面、丰富的功能以及高度的可定制性，即使是没有任何编程经验的用户也能快速上手：

https://anythingllm.com/desktop，登录官网。
下载对应的版本

在这里插入图片描述

打开anythingllm。

在这里插入图片描述

5. 搭建RAG本地知识库

现在已经安装并配置好了Ollama、Deepseek R1、Nomic-Embed-Text和AnythingLLM，接下来我们将它们结合起来搭建一个本地的私有RAG知识库。

5.1 数据准备

首先，你需要准备一个知识库数据集。这个数据集可以是一个包含大量文档的目录，也可以是一个预处理的JSON文件。确保每个文档都有一个唯一的ID和文本内容。

我们准备一个Deepseek Janus pro的介绍文档。

在这里插入图片描述

5.2 构建索引

使用Nomic-Embed-Text将知识库中的文档转换为向量表示，并构建一个索引：

在这里插入图片描述

5.3 检索相关信息

使用Deepseek R1和检索本地向量数据库：

在这里插入图片描述

7. 总结

通过本文的介绍，你已经学会了如何搭建一个本地的私有RAG知识库。

这个知识库可以帮助你高效地管理和利用知识，同时增强大模型专业应用方向的能力。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望