DeepSeek + AnythingLLM + Ollama 搭建本地大模型知识库

DeepSeek+AnythingLLM + Ollama 搭建本地大模型知识库

前言

本地部署的最大意义在于利用DeepSeek大模型的能力加上自己的知识库，可以训练出一个符合自己需求的大模型。

这就是本地部署+知识库的作用。是DeepSeek官网不具备的。因为这是训练的你的私有资料。

今天就来分享下这个搭建过程。用到的工具组合是AnythingLLM +Ollama +DeepSeek

废话不多说，直接干货

安装Ollama

1、官方网站下载：https://ollama.com/，点击download进行下载。

2、为了避免安装在C盘占用空间，右键以管理员身份运行Ollama安装程序，可以使用命令指定路径方式安装Ollama，安装命令：OllamaSetup.exe /DIR=d:\Ollama，如下图：

3、点击Install安装完成即可，如下图：

4、配置下载模型保存路径， 在D盘新建一个文件夹命名为OllamaAI，然后打开系统环境变量，新建变量名：OLLAMA_MODELS 变量值：D:\OllamaAI，如下图：

温馨提示： 此步主要是解决Ollama默认下载模型到C盘问题，若C盘空间足够大的小伙伴此步骤可略过。

5.重启电脑后，在开始菜单找到Ollama程序打开，打开后在电脑右下角会有一个羊驼图标显示。

6、点击羊驼图标运行后，在右下角显示。

下载DeepSeek模型

1、输入ollama run+ 模型名称，按回车键即可下载（看下面附图硬件要求选择下载其中一个或多个，此过程可能有点慢，若下载失败重新输入命令下载即可），如下：

ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b

2、我们选择下载8b模型，在Windows PowerShell终端运行命令：ollama run deepseek-r1:8b。如下图：

3、使用命令运行模型：ollama run deepseek-r1:8b。试一下提问：你是谁？使用效果如下图：

这样就算安装成功了。

DeepSeek不同参数版本介绍：

模型参数规模	典型用途	CPU 建议	GPU 建议	内存建议 (RAM)	磁盘空间建议	适用场景
1.5b (15亿)	小型推理、轻量级任务	4核以上 (Intel i5 / AMD Ryzen 5)	可选，入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存)	8GB	10GB 以上 SSD	小型 NLP 任务、文本生成、简单分类
–	–	–	–	–	–	–
7b (70亿)	中等推理、通用任务	6核以上 (Intel i7 / AMD Ryzen 7)	中端 GPU (如 NVIDIA RTX 3060, 12GB 显存)	16GB	20GB 以上 SSD	中等规模 NLP、对话系统、文本分析
–	–	–	–	–	–	–
14b (140亿)	中大型推理、复杂任务	8核以上 (Intel i9 / AMD Ryzen 9)	高端 GPU (如 NVIDIA RTX 3090, 24GB 显存)	32GB	50GB 以上 SSD	复杂 NLP、多轮对话、知识问答
–	–	–	–	–	–	–
32b (320亿)	大型推理、高性能任务	12核以上 (Intel Xeon / AMD Threadripper)	高性能 GPU (如 NVIDIA A100, 40GB 显存)	64GB	100GB 以上 SSD	大规模 NLP、多模态任务、研究用途
–	–	–	–	–	–	–
70b (700亿)	超大规模推理、研究任务	16核以上 (服务器级 CPU)	多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存)	128GB	200GB 以上 SSD	超大规模模型、研究、企业级应用
–	–	–	–	–	–	–
671b (6710亿)	超大规模训练、企业级任务	服务器级 CPU (如 AMD EPYC / Intel Xeon)	多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存)	256GB 或更高	1TB 以上 NVMe SSD	超大规模训练、企业级 AI 平台

安装AnythingLLM

安装一个交互界面的软件，可以把资料投喂给大模型，类似的交互界面很多，暂时使用AnythingLLM，有其他好用的工具，网友留言反馈。

1、官方网站：https://anythingllm.com，下载软件，如图：

2、同样默认安装到D盘，如下图：

3、点击安装后，直接等待安装完成。根据网速情况，安装快慢不一样，会下载各种模型及相关文件。如下图：

AnythingLLM基本应用

1、在桌面打开“AnythingLLM”应用程序，设置成中文，如下图：

2、新建一个工作区，单击“新工作区”，在demo工作区上单击设置图标，在“聊天设置”设置“工作区聊天模型”为：deepseek-r1:8b。如下图：

3、 在demo聊天应用效果如下图：

4、自定义知识库应用
　将自己的资料投喂给deepseek模型，在demo工作区上单击上传文件按钮，如下图：

4、 我把上传投喂给deepseek模型，上传成功后，选择相应的文件，单击“Move to Workspace”按钮移动到demo工作区；然后单击“Save and Embed”按钮，根据文档内容的大小处理过程耗时不一样；保存成功后，在文件后面的按钮钉起来后会变成黑色，就证明选择这个文件。如下图：

5、返回demo工作区后，问同样的问题就OK了。