玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)

已于 2025-03-04 09:37:57 修改
阅读量2.9k 收藏 38
点赞数 27
分类专栏： 玩转大语言模型 文章标签： 语言模型 人工智能 自然语言处理
于 2025-02-05 18:33:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DuLNode/article/details/145457762
版权

系列文章目录

玩转大语言模型——使用langchain和Ollama本地部署大语言模型
玩转大语言模型——三分钟教你用langchain+提示词工程获得猫娘女友
玩转大语言模型——ollama导入huggingface下载的模型
玩转大语言模型——langchain调用ollama视觉多模态语言模型
玩转大语言模型——使用transformers中的pipeline调用huggingface中模型
玩转大语言模型——transformers微调huggingface格式的中文Bert模型
玩转大语言模型——使用GraphRAG+Ollama构建知识图谱
玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题
玩转大语言模型——配置图数据库Neo4j（含apoc插件）并导入GraphRAG生成的知识图谱
玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程
玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
玩转大语言模型——使用LM Studio在本地部署deepseek R1的零基础）教程
玩转大语言模型——Ubuntu系统环境下使用llama.cpp进行CPU与GPU混合推理deepseek
玩转大语言模型——使用Kiln AI可视化环境进行大语言模型微调数据合成

文章目录

前言

最近deepseek模型可谓是非常火爆，尤其是deepseek R1的逻辑能力，并且deepseek R1还开放了多种参数大小的蒸馏模型，使得本地部署成为了可能。在本系列中上一篇介绍了在本地部署deepseek R1的用法，本篇将介绍如何部署本地大模型的数据库。

Ollama

下载ollama

下载安装ollama的过程如果之前有按照步骤配置过，可以跳过直接下载AnythingLLM.
Ollama官网：https://ollama.com/
在这里插入图片描述
点击下载，选择符合自己系统的版本，点击下载
在这里插入图片描述
下载后按照提示安装即可

下载模型

回到官网，点击左上角的Models
在这里插入图片描述
点击后可以看到会有众多支持的模型
在这里插入图片描述
可以看到现在deepseek-r1排第一，直接点进去就可以，如果没有可以在上方搜索查找deepseek-r1
在这里插入图片描述
左侧选模型参数范围，一般越大能力越强，默认是7b的模型，选择好模型之后可以复制右侧的命令到命令行执行，会自动下载并运行模型，笔者的显卡是3060（6G显存），选择的是14b的模型，读者可以自行选择合适的大小。
只有第一次执行命令时会下载模型，下载过一次后执行命令会直接启动模型。如果只是下载模型而不需要在命令行启动模型，可以将run换成pull。

AnythingLLM

下载安装AnythingLLM

AnythingLLM官网：https://anythingllm.com/
进入官网后经过人机验证后进入以下界面点击下载
在这里插入图片描述
选择符合自己电脑配置的版本下载
在这里插入图片描述
如果点击下载后出现下图情况
在这里插入图片描述
可以在下载按钮右键单击鼠标，复制下载链接到迅雷下载。
下载后根据引导安装即可。

初试Anything LLM

点击按钮Get started
在这里插入图片描述
然后选择Ollama并选择模型
在这里插入图片描述
然后一直点右边的箭头，到以下界面需要输出一个工作区名称，笔者为了省事就写作这是一个测试
在这里插入图片描述
然后点击右箭头
在这里插入图片描述
随后点击新建的工作区就可以对话了，笔者点击的是“这是一个测试”。
在这里插入图片描述

配置AnythingLLM设置

点击设置，选择ollama，然后选择deepseek模型在这里插入图片描述
修改提示词后更新设置在这里插入图片描述

构建本地数据库

下载embedding模型

打开命令行，输入

ollama pull nomic-embed-text

下载完成后打开左下角的扳手按钮
在这里插入图片描述
切换到新下载的embedding模型后点保存更改
在这里插入图片描述

上传数据库

点击左侧这个按钮上传数据
在这里插入图片描述
点击这个区域上传文件
在这里插入图片描述
笔者这里上传的是AI生成的学校制度大纲
在这里插入图片描述
选中新上传的文件，将文件移动到工作区
在这里插入图片描述
然后点Save and Embed进行保存
在这里插入图片描述
如果出现下面这种转圈的情况不要担心，等他转完就好
在这里插入图片描述
出现以下提示说明保存成功
在这里插入图片描述
可以选择点击这个按钮将文档Pin在工作区（可不选）
在这里插入图片描述
如果出现以下提示，选Okay,got it

在这里插入图片描述

测试

新建一个对话测试
在这里插入图片描述
这里可以看到模型已经识别到了文档信息了
在这里插入图片描述

【全网独家】DeepSeek 数据导入
走向CTO的路上...
02-11 1290
DeepSeek 提供了灵活的数据导入方式，支持多种数据格式和来源。通过结合先进的 NLP 模型和高效的数据处理流程，DeepSeek 能够快速适应不同的应用场景，并提供高性能的文本处理能力。
玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程(ollama+chatbox)
艾醒的博客
01-31 3349
最近deepseek模型可谓是非常火爆，无论是逻辑能力还是知识层次都取得了很大的技术进步，最重要的是他完全开源，并且deepseek R1还开放了多种参数大小的蒸馏模型，使得本地部署成为了可能。经过实测，如果仅用于聊天消遣，不给模型较难的任务，1.5b的模型就已经有了一个很好的表现了，本章中将从零开始介绍本地部署deepseek R1，并且安装相关的可视化软件以供调用本地模型。
DeepSeek R1 本地部署及搭建本地知识库完整教程.pdf
02-11
DeepSeek R1 本地部署及搭建本地知识库完整教程.pdf 本教程指导安装目前非常火的DeepSeek R1，并通过Cherry-Studio界面化使用，也可以搭建本地知识库。是非常完整的教程。包含 1.安装Ollama 2.安装Deep Seek -r1模型 3.安装界面化工具Cherry-Studio 4.搭建及使用本地知识库
DEEP SEEK 本地部署（Ollama + ChatBox）+ 私有知识库（cherry studio）教程
02-06
内容概要：本文档详细介绍了 DEEP SEEK 的本地部署及其与私有知识库整合的具体步骤。主要包括两大部分：Ollama 平台的使用方法和 DeepSeek R1 模型的安装指导。Ollama 是一种能够便捷部署深度学习模型（尤其是大型语言模型）的工具，它支持多种操作系统并在命令行中执行相应操作以完成从下载、配置直至实际使用的全过程。文中针对不同硬件条件给出了具体配置推荐，并逐步讲解了从安装 Ollama 到运行特定大小版本 DeepSeek 模型（如 1.5b 至 70b），再到设置 API 键连接云端服务以及最后利用 Cherry Studio 构建个人专属的知识库的一系列操作指南。同时附上了多个辅助资源如视频教程、在线演示平台链接以便更好地理解和学习整个过程。 适合人群：适合有一定技术背景且想探索本地部署人工智能模型的初学者或是希望通过本地化部署提高效率的研发团队。 使用场景及目标：一是帮助用户了解并掌握在本地环境中配置高性能 AI 工具的全流程操作；二是使用户能够根据自己拥有的计算资源情况合理挑选合适的模型大小；三是通过集成私有知识库为企业内部提供定制化的问答或咨询系统，保护敏感数据不受公开访问威胁。 其他说明：考虑到安全性和稳定性因素，作者还提供了应对潜在风险如遭遇网络攻击时选用可靠替代源——硅基流动性 API 来保障服务持续稳定运作，并强调在整个实施过程中应谨慎处理个人信息及企业关键资产以防泄露事件发生。此外，提到对于更高级的功能例如基于 Ollama 实现本地知识库还有待进一步探讨和发展。
DeepSeep+ollama+Anythingllm如何搭建个人知识库，私有数据训练避免上网！！！
Jjavaer的博客
02-17 1686
超全DeepSeek个人知识库搭建记录，小白都能搞定
【三步！手把手教你快速搭建本地deepseek应用】deepseek-r1-1.5b+ollama+anythingllm
最新发布
03-04
【三步！手把手教你快速搭建本地deepseek应用】deepseek-r1-1.5b+ollama+anythingllm
AnyThingLLM本地私有知识库搭建
哈士奇是我的信仰~呜哇
01-31 5521
AI大模型+私有化本地知识库 搭建
DeepSeek本地部署（局域网+异地访问）数据库（保姆教程）
2401_85343303的博客
03-02 8024
前面三个篇幅介绍本地部署DeepSeek+数据库及联网搜索的方法，后台又收到新的需求，“通过局域网或异地公网访问本地部署的DeepSeek+数据库”， 这是一个常见的场景，我也有用到，本次将整理分享配置“局域网或异地公网”访问的方法！DeepSeek本地部署全攻略：局域网共享+远程访问一体化方案【项目概述】关于DeepSeek 本地化部署、搭建个人知识库（资料库）、联网搜索及本地化可视化管理。共分享了三套部署方案。这一篇着重介绍了局域网访问及异地公网访问本地DeepSeek知识库的方法。
DeepSeek 模型本地部署与数据投喂训练全攻略
chinansa的博客
02-14 4971
确保设备满足一定硬件条件：显卡需 GTX 1060（6GB）及以上，推荐 RTX3060 及以上，以保证模型运行时的图形处理能力；内存容量至少 8GB，推荐 16GB 及更高，为模型运行提供充足的内存空间；存储空间方面，C 盘需剩余 20GB，推荐使用 NVMe 固态硬盘，提升数据读写速度。
DeepSeek本地部署+投喂数据训练AI教程！！
热门推荐
2301_76168381的博客
02-05 11万+
DeepSeek-R1，是深度求索（DeepSeek）研发的推理模型，本地部署后完全免费，无使用次数限制。DeepSeek-R1采用的大规模强化学习技术，尤其擅长数学、代码和自然语言推理等复杂任务。DeepSeek-R1系列模型（1.5b~671b）开源且免费，进一步降低了AI应用门槛，赋能开源社区发展。使用教程❶Win版安装教程（Ollama+AnythingLLM安装、DeepSeek模型下载）❷Mac版安装教程（Ollama+AnythingLLM安装、DeepSeek模型下载）
DeepSeek本地部署+WebUI可视化+数据投喂训练AI之新手保姆级教程，建议收藏！
2401_85390073的博客
02-09 3万+
最近国产大模型DeepSeek特别火，以至于频繁出现反应迟缓甚至宕机的情况，和两年多之前ChatGPT的遭遇颇为相似。万幸，DeepSeek是一个开源模型，我们大可以通过本地部署，在自己的终端上随时使用！接下来就教大家具体的操作：一、DeepSeek本地部署二、WebUI可视化三、数据投喂训练AI**1、安装Ollama**首先我们需要安装Ollama，它可以在本地运行和管理大模型。
deepseek本地部署使用教程
01-31 1万+
deepseek本地部署使用教程
玩转大语言模型——使用langchain和Ollama本地部署大语言模型
艾醒的博客
01-30 1827
Ollama 是一个开源的大型语言模型服务工具，旨在简化在本地运行大语言模型的过程，降低使用大语言模型的门槛。用户可以在自己的设备上运行模型，无需依赖云服务或远程服务器，保护了数据隐私。支持 Windows、macOS 和 Linux 等多种操作系统，方便不同用户安装使用。在本篇中将介绍Windows下使用Ollama进行本地大模型的部署。
玩转大语言模型——使用GraphRAG+Ollama本地构建知识图谱（完全本地化，不依赖OpenAI）
艾醒的博客
01-16 1887
下载过程分为两种，一种是下载项目，另外一种是直接使用pip下载，两种用法最后的效果是一致的，如果不需要修改源码，可以选择pip方式下载，这样比较方便。不过当前的模型并不能直接拿来使用，我们需要修改一下，不如可能会出现一些奇怪的错误，笔者遇到的问题是在生成entities时识别不到entity。，如果是用项目方式下载，直接在项目下新建，如果是使用pip方式下载的，新建一个项目在新建的项目里新建文件夹。构建索引的过程就是构建知识图谱的过程，同样的，读者需要将笔者的路径替换为自己的路径。，修改以下两部分，将。
玩转大语言模型——ollama导入huggingface下载的模型
艾醒的博客
01-06 2949
ollama在大语言模型的应用中十分的方便，但是也存在一定的问题，比如不能使用自己微调的模型或者当前的模型并没有做ollama官网兼容的时候，从外部导入模型就十分必要。本章将会介绍两种常见格式模型导入ollama的方式。
deepseek本地部署最简教程——搭建个人AI知识库
m0_59164304的博客
02-08 6134
尽管本地化部署的DeepSeek模型在算力规模和功能完备性上无法媲美云端全量版本，但只要喂给它「独家秘方」——也就是你电脑里的文档、代码、笔记这些干货，它立马就能变身成你的专属知识小助手！当然，AnythingLLM还具备其他功能，如代码托管和官方API的接入等，受篇幅所限，本文不再展开论述，各位可自行探索。需要注意的是，本地部署的AI回答精准度仍然受到硬件性能的制约。建议开发者参考以下硬件选型策略，轻量级部署：RTX 3060(12GB)+32GB DDR4+1TB SSD（支持7B参数模型实时推理）；
DeepSeek R1 + AnythingLLM搭建本地私有知识库详解
deepseek01的博客
02-17 1621
语义熔炉-通过以上步骤，可在2小时内完成从环境搭建到知识库部署，实现企业内部数据与通用AI能力的结合。下载AnythingLLM桌面版。
实操Deepseek接入个人知识库
datayx的文章
02-26 1591
向AI转型的程序员都关注公众号 机器学习AI算法工程为什么要尝试给DeepSeek添加本地知识库呢？或许在我们OA系统中会出现一个AI小助手，我们会问它差旅费报销流程怎么走、合同流程怎么走、负责某某业务的同事的联系方式等等。当然，这应该是最简单的应用场景。时代变了！以前需要找好多个部门的专业人士了解的信息，未来用AI工具就能快速获取，并且是提炼总结后的内容。要实现这些功能，必然需要提供相关的资料内...
【技术实践】DeepSeek ＆ Anythingllm搭建论文问答知识库
开着奔驰种地的博客
02-14 1109
本文基于anythingllm + deepseek r1 搭建本地知识库，构建问答系统主要分为以下步骤：Anythingllm：下载部署并配置anythingllm（桌面端/服务器端）DeepSeek：获取deepseek r1模型（本地/云端/api）Knowledge Base：准备知识库文档，上传并完成embedding（爬取）Q＆A：针对性问答（大模型调用）
deepseek接入私有知识库
02-06
### 配置和集成 DeepSeek 连接到私有知识库 为了实现 DeepSeek 与私有知识库的有效连接，需考虑几个关键因素和技术细节： #### 选择合适的版本 鉴于 DeepSeek R1 不支持函数调用特性，这意味着它不适合用于 Dify 的智能体环境中。相比之下，DeepSeek V3 提供了更广泛的功能集和支持，因此建议优先选用 DeepSeek V3 版本来完成此任务[^1]。 #### 准备工作环境 确保拥有足够的计算资源来运行所选的 DeepSeek 模型版本，并安装必要的依赖项。对于本地部署而言，准备一台具备良好硬件条件的工作站或服务器至关重要。此外，还需搭建适合于模型运行的操作系统及编程环境，如 Python 解释器及相关库文件等[^3]。 #### 构建数据接口 为了让 DeepSeek 能够访问并利用私有知识库中的信息，建立高效的数据交换机制必不可少。一种方法是通过 API 或数据库查询的方式让模型获取所需资料；另一种则是采用嵌入式方案——即将部分重要知识点预先加载至内存中以便快速检索使用。无论采取哪种方式，都应注重保护敏感信息安全性和隐私权[^2]。 #### 实现具体功能 当上述准备工作完成后，则可着手开发具体的交互逻辑代码片段。下面给出一段简化版Python脚本作为示例说明如何向用户提供基于其提问从私人知识库里查找相关内容的服务： ```python from deepseek import DeepSeekModel # 假设这是官方提供的SDK包名 def get_knowledge_from_private_db(query_string): model = DeepSeekModel(version="V3") # 初始化指定版本实例对象 result = model.search_in_kb(query=query_string, kb_path="/path/to/private/kb") return result if __name__ == "__main__": user_input = input("请输入您的问题:") answer = get_knowledge_from_private_db(user_input) print(f"找到的答案如下:\n{answer}") ``` 这段程序展示了怎样创建一个 `DeepSeekModel` 类的对象并通过它的成员函数去执行针对特定路径下保存着用户自定义内容的知识库搜索操作。当然实际应用时还需要根据实际情况调整参数设置以及错误处理流程等方面的内容。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

艾醒(AiXing-w)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值