Windows 部署 DeepSeek 本地 RAG 保姆教程：低配秒变AI工作站，断网也能稳如老狗！

已于 2025-03-19 15:52:48 修改
阅读量1.8k 收藏 32
点赞数 12
分类专栏： 深度学习 文章标签： 人工智能
于 2025-03-02 15:33:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43961619/article/details/145963071
版权

标题

一、二步为介绍，如果想要看怎样接入本地知识库，可直接从 第三步：AnythingLLM 安装 开始

一、RAG介绍

RAG 知识库概述

1. 定义

RAG（Retrieval-Augmented Generation）是一种结合检索技术与生成模型的自然语言处理方法，通过引入外部知识库提升系统回复的准确性与信息量。

2. 核心原理
  • 检索优先：生成回答前，先从知识库中检索相关信息（类似“开卷考试”）。
  • 动态生成：基于检索结果，利用大语言模型生成最终回答。
3. 应用步骤
  1. 创建知识库
    将原始数据转化为结构化存储形式（如向量数据库）。
  2. 查询知识库
    通过向量检索等技术匹配最相关信息。
  3. 生成答案
    结合检索结果与生成模型输出最终回答。
4. 应用场景
  • 企业级产品：如 FastGPT 等即用型平台。
  • 自定义项目：个人/团队用于学习、科研或商业场景。
5. GraphRAG 技术
  • 微软提出：通过图谱化处理数据，增强语义关联性。
  • 优势：提升检索精度。
  • 局限：数据处理成本较高，依赖 AI 预处理。

本地部署 RAG 的优势

1. 数据隐私与安全
  • 本地化存储：敏感数据无需上传至外部服务器，规避泄露风险。
  • 完全控制：自主管理访问权限，确保信息私密性。
2. 高度定制化
  • 私有知识库：按需构建专属知识库。
  • 参数调优：灵活调整模型配置以适配特定需求。
3. 成本效益
  • 一次性投入：避免云服务持续订阅费用。
  • 零额外成本：无数据存储/处理附加费。
4. 离线可用性
  • 无需网络：支持断网环境下运行，保障服务稳定性。
5. 检索效率提升
  • 精准匹配：快速定位知识库关键信息。
  • 智能生成：结合检索结果生成高质量回答。
6. 个性化适配
  • 场景定制：自由配置功能模块以满足垂直领域需求（如医疗、金融）。

二、DeepSeek-R1 模型本地部署

首先需要先本地部署一下DeepSeek，这里可以参考我上一篇文章 ：
DeepSeek R1+Windows本地部署，保姆级教程，小白也能轻松部署 低配电脑可用，让R1不在 “繁忙”

https://editor.youkuaiyun.com/md/?articleId=145796894

三、AnythingLLM 安装

AnythingLLM则是一个知识整合的智能助手，能够帮助用户快速部署和整合DeepSeek和其他大语言模型。通过AnythingLLM，用户可以更方便地创建和管理本地知识库，实现高效的知识管理和智能问答‌,它提供 Web 界面，易于管理和调用，适合个人和企业打造专属 AI 助手。

官网地址：https://anythingllm.com

在这里插入图片描述

安装

下载完成后我们进行安装：
在这里插入图片描述
在这里插入图片描述
安装时一直下一步就行，安装过程中AnythingLLM会自动安装调用Ollama的库函数：
在这里插入图片描述

安装好开始配置 这里选Ollama 地址按它默认的填就行。
在这里插入图片描述
在这里插入图片描述
工作区名字随便取就行。

安装完成后，进入程序主界面，会有一段欢迎提示，如果觉得英文比较难读，可以通过点击左下角 扳手 按钮，
在这里插入图片描述
修改软件语言为中文
在这里插入图片描述
这个时候在底部对话框就可以进行对话了
在这里插入图片描述
上面的回答就是 DeepSeek-R1:8B 模型默认的回答，大家可以看出回答的效果并不好

建立个人知识库

这个时候，我们可以将第一步的 什么是RAG 相关内容拷贝出来创建一个文档 测试Rag.docx
选择我们建立的Test工作区，上传此文档：
在这里插入图片描述
上传文档并准备移入工作区，如下图：
在这里插入图片描述
把文档移动到工作区，并点击Save and Embed，等系统处理完成：
在这里插入图片描述

文档 Embed = 把文本变成向量 + 存入数据库 + 进行相似搜索。它是 AI 知识库、搜索推荐、智能问答的核心技术，让 AI 理解文本语义，而不再只是匹配关键词。

测试Rag.docx文档的内容是：

本地部署 RAG 的优势
### 1. 数据隐私与安全
- **本地化存储**：敏感数据无需上传至外部服务器，规避泄露风险。
- **完全控制**：自主管理访问权限，确保信息私密性。
### 2. 高度定制化
- **私有知识库**：按需构建专属知识库。
- **参数调优**：灵活调整模型配置以适配特定需求。
### 3. 成本效益
- **一次性投入**：避免云服务持续订阅费用。
- **零额外成本**：无数据存储/处理附加费。
### 4. 离线可用性
- **无需网络**：支持断网环境下运行，保障服务稳定性。
### 5. 检索效率提升
- **精准匹配**：快速定位知识库关键信息。
- **智能生成**：结合检索结果生成高质量回答。
### 6. 个性化适配
- **场景定制**：自由配置功能模块以满足垂直领域需求（如医疗、金融）。

大模型结合上下文给我们的回答：
在这里插入图片描述

<think>
嗯，用户问的是“rag的优势”，也就是RAG的优势。首先，我需要回顾一下之前提供的上下文，了解RAG的相关信息。

从上下文中，我已经了解到RAG的核心是结合检索技术和生成模型来提升回答的准确性和信息量。它有六个主要优势：一次性投入、零额外成本、离线可用性、检索效率提升和个性化适配。

现在，我需要将这些优势详细化，用中文解释清楚每个优势是什么，以及它们如何帮助用户或系统。

首先，一次性投入意味着用户不需要支付持续的云服务费用，这节省了预算。然后，零额外成本说明RAG不会增加数据存储或处理费用，这对于降低成本非常有用。

离线可用性方面，RAG可以在没有网络的情况下运行，确保服务的稳定性，这对于需要可靠性的应用场景很重要。

检索效率提升则体现在快速定位关键信息和生成高质量的回答上，这有助于提高用户体验。个性化适配意味着可以根据不同领域的需求定制功能模块，增强适用性和针对性。

在思考过程中，我可能会考虑是否有遗漏的优势或者是否可以更详细地解释每个优势的具体应用场景。例如，RAG如何具体提升检索效率，或者它如何与生成模型协同工作来优化回答质量。

另外，用户可能对RAG的实际应用场景感兴趣，但当前上下文没有提供具体的例子，所以在回答中可以建议用户提供更多细节以便进一步阐述优势。

总的来说，我需要将上述信息有条理地组织起来，确保每个优势都有清晰的解释，并且语言简洁明了，易于理解。
</think>

RAG（Retrieval-Augmented Generation）的优势主要体现在以下几个方面：

1. **一次性投入**：无需持续付费，避免云服务的订阅费用，适合需要长期稳定服务的企业或个人。

2. **零额外成本**：不增加数据存储或处理费用，仅需初始投资即可开始使用。

3. **离线可用性**：支持断网运行，确保在没有网络连接的情况下也能正常工作，保障服务的稳定性。

4. **检索效率提升**：通过精确匹配知识库中的关键信息和智能生成回答，提供高质量且相关的信息。

5. **个性化适配**：可以根据具体需求自由配置功能模块，适用于医疗、金融等垂直领域的定制化服务。

这些优势使得RAG在多种应用场景中展现出高效、可靠且低成本的特点。

可以看出，AnythingLLM通过调用deepseek模型完成了知识问答

图片底部显示 Hide Citations表明，本次问答引用了我们之前上传的文档

通过使用Ollama、DeepSeek和AnythingLLM搭建本地知识库，我们不仅能够享受大模型带来的便利，还能够确保数据的安全性和隐私性。这种方法特别适合那些对数据保密有严格要求的企业和个人用户，同时也解决了在线DeepSeek不稳定的问题。

参考资料
https://blog.youkuaiyun.com/2401_84204207/article/details/145413949
https://zhuanlan.zhihu.com/p/22733349472
https://www.panziye.com/ai/13223.html

deepseek保姆级入门教程（网页端使用 + 本地客户端部署 + 使用技巧，纯干货教程）
Code_流苏：在代码中寻诗意，在实践中觅真知
03-08 1666
纯干货教程，一篇讲清deepseek入门使用方法与技巧（网页端使用 + 本地客户端部署 + 使用技巧，纯干货教程）
本地知识库RAG总结
年轻即出发，
03-14 1692
第一，自己从0开始实现RAG，优点是灵活度高，可以定制，召回有保证，缺点是工作量大。3、融入“知识图谱”技术，将文档中的实体和属性形成可解释的知识图谱，在检索的时候，通过问题中语义实体或关系，基于知识图谱库获取和该问题推理相关的上下文（事实或逻辑），让大模型按照可解释的推理过程进行问题的分解和答案生成。首先通过模型进行关键词抽取，这里可以通过传统的nlp技术进行分词，也可以通过大模型进行分词，然后进行关键词按照同义词做扩充，找到关键词的候选列表，最好根据关键词候选列表调用explore方法召回局部子图。
简话 RAG 本地部署(DeepSeek + RAGFlow)
捉虫客 de 博客
02-11 1万+
RAG = DeepSeek + OLlama + Docker + RAGFlow + Windows 11 简话 RAG 本地部署
本地部署大模型与基于RAG构建私有知识库，一步到位！
xiangxueerfei的博客
04-25 735
以上就是本地大模型部署和基于RAG方案的私有知识库搭建的基本操作。除此之外，还有更多丰富有趣的功能等待探索。如今大模型遍布各行各业、各个领域，基于RAG方案的私有知识库技术也逐渐发展，成为提升个人工作效率与创造潜能的新风尚。本地部署模型意味着用户能在自己的设备上享受即时响应的智能辅助，无需依赖云端，既保护了个人数据隐私，又确保了操作的低延迟与高可靠性。结合RAG方案的私有知识库，则让每位用户能够构建专属自己的知识宇宙。
本地大模型部署和基于RAG方案的私有知识库搭建
youmaob的博客
07-24 2122
以上就是本地大模型部署和基于RAG方案的私有知识库搭建的基本操作。除此之外，还有更多丰富有趣的功能等待探索。如今大模型遍布各行各业、各个领域，基于RAG方案的私有知识库技术也逐渐发展，成为提升个人工作效率与创造潜能的新风尚。本地部署模型意味着用户能在自己的设备上享受即时响应的智能辅助，无需依赖云端，既保护了个人数据隐私，又确保了操作的低延迟与高可靠性。结合RAG方案的私有知识库，则让每位用户能够构建专属自己的知识宇宙。
RAG：本地部署Langchain-Ollma(Windows)
MurphyStar的博客
07-01 2623
RAG，即“Retrieval Augmented Generation”（检索增强生成），是一种结合了检索和生成技术的自然语言处理模型。它主要用于文本生成任务，能够利用外部知识源来增强生成的文本，从而提高生成质量。相较于微调技术，RAG能够更加短平快的吸纳本地知识并整合大模型进行问答。因此本地部署了一个基于Langchain🦜🔗 + Ollma🐫的RAG应用，以检索本地知识库生成回答。
Windows部署DeepSeek本地RAG教程：低配电脑变身AI工作站，离线也能稳如老狗！
2401_85343303的博客
03-06 2194
RAG（Retrieval-Augmented Generation）是一种结合检索技术与生成模型的自然语言处理方法，通过引入外部知识库提升系统回复的准确性与信息量。
在windows 11本地搭建RAG数据查询的AI大模型环境
ainnle的专栏
05-01 4739
其中，基于检索-生成器（Retrieval-Augmented Generation，简称RAG）架构的数据查询模型备受关注，因为它能够结合从大规模文本语料库中检索信息和生成自然语言文本的能力，实现更加智能和准确的数据查询。1. 下载 Docker Desktop：首先，打开浏览器，访问 Docker 官方网站（https://www.docker.com/products/docker-desktop），在该页面上找到适用于 Windows 的 Docker Desktop 安装程序，并点击下载。
windows本地部署deepseek（小白详细教程版）
weixin_43837880的博客
02-16 1663
Ollama 是一个开源项目，专注于在本地运行大型语言模型（LLMs），尤其是 Meta 的 LLaMA 系列模型。它允许用户在个人计算机上部署和运行这些模型，无需依赖云端服务。本地运行：支持在本地设备上运行大型语言模型，保护隐私。开源：代码公开，用户可自由查看、修改和分发。多平台支持：兼容 macOS、Linux 和 Windows。模型支持：主要支持 Meta 的 LLaMA 模型，未来可能扩展至其他模型。易用性：提供简单接口，便于用户快速上手。隐私保护：适合处理敏感数据，避免上传至云端。
实战本地部署DeepSeek和RAG，构建自己专属知识库
m0_62878167的博客
02-14 1035
在“RAG设置”项，将“文本嵌入模型”改为“nomic-embed-text”并保存，此时，我们本地的RAG支持也配置好了，可以开始构建自己的专属知识库了。但是想要支持RAG，还需安装其他的组件，按照RAG的原理和机制，还需要在本地部署一个嵌入模型。DeepSeek-V3和DeepSeek-R1都是非常优秀的国产大模型，如果需要在本地部署，则需要借助Ollama。在DeepSeek-R1中，可以看到有1.5b、7b、8b、14b、32b、70b、671b这几种规模大小的模型下载。
DeepSeek RAG 避坑指南：你以为的知识库 VS 真实的知识库
最新发布
05-13
DeepSeek RAG作为人工智能领域的一项技术，旨在通过知识库来增强人工智能模型的能力，尤其是在处理复杂和多变的真实场景时。避坑指南指出，许多人在应用知识库时容易陷入几个误区，包括但不限于将知识库视为杂物间、...
Deepseek R1打造本地化RAG知识库(1):安装部署使用详细教程
2401_84380512的博客
04-05 619
如何使用Deep打造自己的本地知识库(1)：安装部署
Deepseek + RAG：创建本地运行智能体
Thales624的博客
01-24 1万+
学习如何通过，构建本地运行的智能 RAG 聊天机器人！本教程将带您逐步了解如何利用 RAG 技术，结合 AI 推理和知识检索能力，创建更加准确且知识丰富的 AI 响应。
基于DeepSeek，构建个人本地RAG知识库
qingkahui24689的博客
02-25 1058
经过一段使用DeepSeek后，感觉使用体验和ChatGPT基本差不多，回答问题的质量略有提升，因DeepSeek已开源，它的模型、模型参数权重从网上都可以下载到，所以可以基于开源的模型，在本地构建一个自己的知识库，小编这里使用的是蒸馏后的模型参数权重RAG （Retrieval-Augmented Generation）检索增强生成，是一种通过整合外部知识库来增强大模型（LLM）回答问题质量的模式。最简单的理解，可以认为是给大模型外挂了一个知识库。
大模型技术学习系列(5): 基于langchain构建RAG应用
u011160113的博客
07-23 1498
本章中，我们回归了一下RAG的流程，并分析了下这个过程中涉及到的组件以及这些组件在langchain中对应的实现方式，并整合这些方式，实现了带RAG的大模型应用。通过这个实践过程，能够帮助我们更好的理解RAG的整个过程。
RAG实战：本地部署ragflow+ollama（linux）
热门推荐
ling913的专栏
01-03 1万+
Ollama+RAGFlow为例，应用RAG（Retrieval Augmented Generation，检索增强生成）构建本地知识库，其中 Ollama 中使用的模型是Qwen2
大语言模型实战——搭建纯本地迷你版RAG
golfxiao的专栏
05-21 2666
question: 用户真实提问的问题。context: 基于用户问题所检索出的上下文文档片段，作为语言模板在回答问题时主要参考的内容。RAG_PROMPT_TEMPALTE = """先对上下文进行内容总结,再使用上下文来回答用户的问题。如果你不知道答案，就说你不知道。总是使用中文回答。问题: {question}可参考的上下文：···{context}···如果给定的上下文无法让你做出回答，请回答数据库中没有这个内容，你不知道。有用的回答:"""
RAG实战：Ollama+MaxKB本地知识库部署
2401_85390073的博客
07-04 1774
相对来说，容易安装且功能较完善，30 分钟内即可上线基于本地大模型的知识库问答系统，并嵌入到第三方业务系统中。缺点是如果你的电脑配置不高，问题回答响应时间较长。
graphrag 本地部署 deepseek
04-01
### 本地部署 GraphRAG 和 DeepSeek 模型 #### 关于 GraphRAG 的本地部署 GraphRAG 是一种基于图结构的知识检索增强技术，旨在通过高效的知识检索能力提升自然语言处理模型的表现。为了在本地环境中部署 GraphRAG，通常需要完成以下几个方面的工作： - **数据预处理** 需要构建适合 GraphRAG 使用的知识库，并将其转换为可被快速查询的形式。这可能涉及将文本数据转化为向量表示并存储到高效的向量数据库中[^1]。 - **依赖安装** 安装必要的 Python 库以及支持 GraphRAG 运行的相关组件。例如，可以使用 Hugging Face Transformers 或其他 NLP 工具包作为基础框架。 - **服务搭建** 利用 Flask、FastAPI 等轻量化 Web 框架创建 RESTful 接口，使得外部应用能够方便地调用 GraphRAG 提供的服务功能。 #### 关于 DeepSeek 模型的本地部署 对于 DeepSeek 模型而言，在国内开发者社区已经积累了丰富的实践经验。“深度求索”推出的多个版本如 DeepSeek-V3 和 DeepSeek-R1 均具备优秀的泛化能力和较低资源消耗特点。以下是针对该类大型语言模型进行本地化设置的一些指导原则： - **环境准备** 根据目标设备的具体情况调整 CUDA 版本号以及其他 GPU 相关驱动程序；同时确认所选硬件满足官方推荐最低规格要求[^2]。 - **模型下载与加载** 可以借助 Ollama 平台简化整个流程操作过程——只需指定所需权重文件路径即可自动完成初始化工作流[^3]。 - **性能优化建议** 调整 batch size 参数大小或者启用混合精度计算等方式进一步提高推理效率。 - **实际案例分享** 在某些实验条件下对比发现即使是较小规模（比如 14B 参数级别）也能达到接近顶级产品水平的结果质量表现。 ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("deepseek/large") model = AutoModelForCausalLM.from_pretrained("deepseek/large") def generate_text(prompt): inputs = tokenizer.encode(prompt, return_tensors="pt").to('cuda') outputs = model.generate(inputs, max_length=50) text = tokenizer.decode(outputs[0], skip_special_tokens=True) return text if __name__ == "__main__": result = generate_text("Explain the concept of artificial intelligence.") print(result) ``` 上述代码片段展示了如何利用 PyTorch 加载预先训练好的 DeepSeek-Large 权重并通过简单的函数封装实现自定义输入提示词生成相应输出内容的功能[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值