使用deepseek r1模型打造本地化RAG知识库

已于 2025-02-24 16:56:20 修改
阅读量395 收藏 9
点赞数 3
分类专栏： 大模型 文章标签： 人工智能 语言模型 神经网络 深度学习
于 2025-02-08 15:21:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45354497/article/details/145478749
版权

众所周知大模型在解决通用问题非常厉害，但是在专业问题上的回答可能会不太准确，有时候会编造信息(大模型幻觉，大模型训练的数据集中没有这类问题或者较少，对这类问题的理解不够)，这时候我们可以利用RAG(Retrieval-Augmented Generation)增强信息检索和生成模型，能够从大规模知识库中检索相关信息并生成高质量的反馈，在对抗大模型幻觉、高效管理用户本地文件以及数据安全保护等方面具有独到的优势。

在这里插入图片描述
如图所示为RAG的流程，红色虚线为不使用RAG流程直接向大模型提问的普通流程。

ollama

ollama是一个用于本地管理和运行大模型的工具，首先到官网下载并安装ollama。
由于我是linux系统，所以运行命令
在这里插入图片描述
当报如下的错，则说明没安装curl，按照图中命令按照一下
在这里插入图片描述
权限不够可能有时候sudo运行还是有的权限不足，直接su进root账户就可以了。
在这里插入图片描述

下载deepseek模型

命令ollama run deepseek-r1:70b
这里我使用的是70b最大参数量的，根据电脑配置来选择模型大小。

下载embedding模型

使用nomic对私有数据embedding。
命令ollama pull nomic-embed-text
也可以使用别的不同的模型，推荐几个比较常用的
在这里插入图片描述
比如bge模型下载命令ollama pull bge-m3

下载AnythingLLM

用于构建基于大模型的私有化应用程序。
首先去官网下载，我是linux需要运行命令curl -fsSL https://cdn.anythingllm.com/latest/installer.sh | sh，下载完运行命令启动./AnythingLLMDesktop/start

搭建RAG本地知识库

首先准备了个文档，记录了当时本人的学习过程，将其上传作为本地知识库。
首先打开AnythingLLM新检个工作区，然后打开设置
在这里插入图片描述

1.选择大模型

在这里插入图片描述
提供商选择ollama，然后选择刚才下载的大模型，点右上角保存。

2.选择embedding模型

在这里插入图片描述
选择刚才下载的nomic模型然后保存。

3.上传本地数据库

首先使用没上传数据库的模型测试一下效果，问他相关内容
在这里插入图片描述
可以看他回答不出来，接下来我们进行上传，首先点击上传按钮
在这里插入图片描述
然后选择文件
在这里插入图片描述
上传向量化
在这里插入图片描述
然后新建一个会话向其提问，可以发现他能提取里面的内容进行回答
在这里插入图片描述

利用DeepSeek-R1构建简单的本地知识库.pdf
02-17
DeepSeek-R1是本次要使用的大型语言模型，Nomic-Embed-Text向量模型用于将文本库进行切分、编码、转换进入向量库，AnythingLLM是一个开源AI私有化应用构建平台，可以快速运行本地LLM，无需复杂的设置。 Nomic-Embed...
DeepSeek模型+RAG技术构建本地知识库.pdf
最新发布
03-06
DeepSeek模型与RAG（Retrieval-Augmented Generation）技术结合，构建了一个本地知识库系统，该系统通过将高性能的AI大模型DeepSeek与本地知识库结合，实现了对特定领域知识的支持。在实践中，研究者使用CST/ABAQUS...
结合DeepSeek-R1与RAG：如何轻松搭建高效本地知识库？
m0_63171455的博客
02-16 927
*为确保本地知识库的高效搭建，需先准备DeepSeek-R1模型、相关文档/数据集及部署工具（如Ollama），，同时选择并配置文本嵌入模型，最后收集/整理文档并确保其唯一标识符和文本内容，**********？**大型语言模型（LLMs）虽然功能强大，。********如何使用DeepSeek-R1 + RAG搭建本地知识库？******
本地Deepseek添加个人知识库(Page Assist/AnythingLLM)
热门推荐
jingzilideniu的博客
02-02 3万+
两种建立知识库，投喂Deepseek的方法 本地Deepseek在Page Assist建立知识库 本地Deepseek在Page Assist建立知识库
DeepSeek-R1 + RAG搭建本地知识库，收藏这一篇就够了！！
Gaga246的博客
02-17 1994
利用DeepSeek-R1与RAG（Retrieval-Augmented Generation，检索增强生成）技术可以快速搭建本地知识库。 为确保本地知识库的高效搭建，需先准备DeepSeek-R1模型、相关文档/数据集及部署工具（如Ollama）， 随后安装Ollama并部署DeepSeek-R1 ，同时选择并配置文本嵌入模型，最后收集/整理文档并确保其唯一标识符和文本内容， 利用文本嵌入模型转换文档为向量以构建快速检索的索引。
DeepSeek R1打造本地化RAG知识库
xiangzhihong8的专栏
02-14 803
通过本文的介绍，你已经学会了如何搭建一个本地的私有RAG知识库。这个知识库可以帮助你高效地管理和利用知识，同时增强大模型专业应用方向的能力。
Deepseek R1打造本地化RAG知识库:安装部署使用详细教程
神棍之路
02-10 467
通过本文的介绍，你已经学会了如何搭建一个本地的私有RAG知识库。这个知识库可以帮助你高效地管理和利用知识，同时增强大模型专业应用方向的能力。
Deepseek R1打造本地化RAG知识库（一）:安装部署使用详细教程
2401_82469710的博客
02-17 1968
Deepseek R1打造本地化RAG知识库（一）:安装部署使用详细教程
DeepSeek R1打造本地RAG知识库的AI助手
xiangzhihong8的专栏
02-11 842
通过以上步骤，我们成功地使用 ollama 和Dify 搭建了本地的私有 RAG 知识库。在搭建过程中，需要注意环境的准备、软件的安装和配置以及数据的处理等各个环节，确保每个步骤都正确无误。同时，要根据实际需求对知识库进行不断的测试和优化，以提升其性能和效果。
【DeepSeek R1构建本地RAG知识库】Dify调优优化
少说，多做
02-27 906
在AI技术快速迭代的当下，检索增强生成（RAG）已成为解决大模型幻觉、知识更新滞后等痛点的核心方案。DeepSeek R1作为国产高性能开源大模型，结合Dify这一低代码AI应用开发平台，能够快速搭建安全可控的本地化知识库系统。本文将从零开始，详解如何通过DeepSeek R1实现本地知识检索增强，并借助Dify的灵活配置完成Prompt工程优化、响应质量调优及系统性能提升。
deepseek r1打造本地化rag知识库
02-03
### 使用 DeepSeek R1 构建本地化 RAG 知识库 #### 准备工作环境 为了构建基于 DeepSeek R1 的本地化 RAG 系统，需先安装必要的软件包并配置开发环境。推荐使用 Python 虚拟环境来管理依赖项。 ```bash python3 -m...
【DeepSeek R1构建本地RAG知识库】向量库选型对比（Pinecone、Milvus、Chroma、Weaviate、Faiss、Qdrant）
少说，多做
02-18 1723
在当今的数字世界中，向量数据库已经成为了存储和检索各种数据（无论是结构化的还是非结构化的）的首选工具。这些数据被转化为所谓的向量嵌入，由特定的模型生成。在开发利用深度学习，尤其是涉及到庞大的语言模型的应用程序时，向量存储起到了无可替代的作用。我们生活的世界中，数据往往是复杂且无规则的，不是所有信息都能简单地适应传统的行列模式。特别是当我们处理图像、视频和自然语言这样的复杂非结构化数据时，向量数据库就显得尤为重要了。向量数据库，顾名思义，它以高维向量的形式存储数据。
离线也能用！DeepSeek-R1与本地化RAG联合，创建你的私有智能文档助手
m0_63171455的博客
02-04 4169
DeepSeek-R1 自从1-20号开源/发布十天以来，鲶鱼效应应接不暇，OpenAI o3-mini 也在 10个小时前向免费用户推送。官方开源的版本除了满血的 671b 外，还有 1.5b，7b，8b，14b，32b，70b 六个蒸馏后的尺寸，笔者使用 Ollama 在电脑本地部署了 7b 的模型，在终端中测试了虽然回答没有满血版的那么惊艳，但凑活能用。作为一款高阶模型开源，确实要 salute 一下。
LangChain-ChatChat+Ollama+DeepSeek 构建RAG本地知识库
bigwhitetao9527的博客
01-23 9699
使用 LangChain-ChatChat+Ollama+DeepSeek 构建RAG本地知识库
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2464
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
DeepSeek R1：高效经济的RAG系统构建利器
XianxinMao的博客
01-29 909
DeepSeek R1 是一款高效且经济的开源推理工具，特别适合构建 RAG（Retrieval-Augmented Generation）系统。它通过本地执行、聚焦检索和严格提示机制，显著提升了文档检索和生成任务的性能与成本效益。与 OpenAI 的 o1 模型相比，DeepSeek R1 的成本降低了 95%，且支持多种模型变体，适应不同应用场景。结合 Ollama、LangChain 和 Streamlit，开发者能够轻松构建用户友好的 RAG 系统，实现快速文档处理、检索和生成，同时提供直观的界面和
Deepseek + RAG：创建本地运行智能体
Thales624的博客
01-24 1万+
学习如何通过，构建本地运行的智能 RAG 聊天机器人！本教程将带您逐步了解如何利用 RAG 技术，结合 AI 推理和知识检索能力，创建更加准确且知识丰富的 AI 响应。
deepseekR1打造本地化rag和知识库
02-26
### 使用 DeepSeek-R1 构建本地化 RAG 和知识库 #### 准备工作 为了成功构建基于 DeepSeek-R1 的本地化 RAG (检索增强生成) 系统以及相应的知识库，前期准备工作至关重要。这包括但不限于获取必要的软件组件和技术资源。 - **模型准备**：选择合适的预训练语言模型作为基础架构的一部分[^1]。 - **部署环境设置**：确保拥有稳定的计算平台来运行这些复杂的算法流程；对于 Windows 用户来说，则可以通过官方提供的 OllamaSetup.exe 来简化这一过程[^2]。 ```bash wget https://github.com/ollama/ollama/releases/download/v0.5.11/OllamaSetup.exe chmod +x OllamaSetup.exe ./OllamaSetup.exe ``` #### 安装与配置 完成上述准备工作之后，接下来就是具体实施阶段： - **安装 Ollama 工具链**：按照指引执行安装程序，并根据提示完成初始化设定。 - **加载嵌入式模型**：通过指定路径导入预先训练好的向量表示形式文件至系统内核中以便后续操作调用。 #### 文档处理及索引建立 针对目标领域内的资料集进行清理加工，去除冗余信息并统一格式标准，随后借助自然语言处理手段将其转化为结构化的特征表达——即所谓的“向量化”。最终形成可供快速查询匹配的知识图谱或数据库实例。 - 将收集到的数据源经过清洗、分词等一系列预处理步骤后输入给定框架下的编码器部分； - 输出的结果会被存储于特定位置等待下一步骤的应用场景需求触发访问请求时提供服务支持。 #### 实现高效检索与生成能力 当一切就绪以后，就可以着手开发应用程序接口(API)，允许外部系统提交查询指令并通过内部机制找到最贴切的答案片段返回给用户端展示出来。与此同时，在线学习模块也会不断积累经验教训从而优化整个系统的性能表现。 ```python from ollama import EmbeddingModel, Retriever model = EmbeddingModel.load("path/to/embeddings") # 加载已有的嵌入模型 retriever = Retriever(model) query_vector = model.encode(["example query"]) results = retriever.search(query_vector) for result in results: print(result['text']) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值