DeepSeek+AnythingLLM打造自己大模型知识库

DeepSeek+AnythingLLM打造自己大模型知识库

目录

1.  安装Ollama
   

2.  下载DeepSeek模型
   

3.  安装AnythingLLM
   

4.  基本应用
   

5.  自定义知识库应用
   

---

---

1. 安装Ollama

官方网站下载:https://ollama.com/，点击download进行下载。
　　
（鉴于很多朋友无法下载ollama和anythingllm，这里给大家整理好了安装包，扫描领取即可↓↓↓↓）

为了避免安装在C盘占用空间，可以使用命令指定路径方式安装Ollama，安装命令：OllamaSetup.exe /DIR=d:\Ollama，如下图：

    直接安装就可以了，如下图：

 配置下载模型保存路径，在电脑的环境变量中增加：OLLAMA\_MODELS，设置保存模型路径：D:\\Ollama\\models。如下图：

2. 下载DeepSeek模型

建议使用“Windows PowerShell”终端，使用“命令提示符”运行Ollama命令可能会出现参数错误的提示。

DeepSeek-r1模型：1.5b约占用空间1.1GB，7b模型是4.7GB，8b模型是4.9GB，14b模型是9.0GB，32b是20GB，70b是43GB，671b是404GB，根据自己磁盘空间进行选择，原则上数据越大，回答的问题就越全面。

我们选择下载8b模型，在Windows PowerShell终端运行命令：ollama run deepseek-r1:8b。如下图：

   下载模型成功后，8b模型保存在D:\\Ollama\\models目录中。如下图：

   使用命令运行模型：ollama run deepseek-r1:8b。试一下提问：你是谁？使用效果如下图：

    这样就算安装成功了。

3. 安装AnythingLLM

安装一个交互界面的软件，可以把资料投喂给大模型，类似的交互界面很多，暂时使用AnythingLLM，有其他好用的工具，网友留言反馈。

官方网站：https://anythingllm.com，下载软件，如图：

    同样默认安装到D盘，如下图：

点击安装后，直接等待安装完成。根据网速情况，安装快慢不一样，会下载各种模型及相关文件。如下图：

   有可能all-minilm-l6-v2模型下载失败，这是一个语义转换模型，如果缺失，使用AnythingLLM上传文档内容会失败。下载all-minilm-l6-v2模型，github下载地址: [https://github.com/user-attachments/files/18676036/Xenova.zip](https://github.com/user-attachments/files/18676036/Xenova.zip)。

   下载Xenova压缩包，解压到本机目录：

C:\Users\WXZZ\AppData\Roaming\anythingllm-desktop\storage\models。如下图：

4. 基本应用

在桌面打开“AnythingLLM”应用程序，设置成中文，如下图：

新建一个工作区，单击“新工作区”，在demo工作区上单击设置图标，在“聊天设置”设置“工作区聊天模型”为：deepseek-r1:8b。如下图：

    在demo聊天应用效果如下图：

5. 自定义知识库应用

在保持原有模型不变的情况下，提问：请规划一下稀土领域的生产管控系统的内容。deepseek回答的内容明显比较吃力，如下图：

有些用户或是专家在项目建设中提出来要提炼工艺库、模型库、算法库等知识库，可以试着让deepseek成为每个角色的助手，例如工艺的、信息化的、设备的、电气的等角色，让deepseek成为自己，再不断的迭代它。deepseek扮演AI助手的角色，应用越来越发挥出来应有的价值

将自己的资料投喂给deepseek模型，在demo工作区上单击上传文件按钮，如下图：

    我把“**稀土领域生产一体化管控系统案例.docx（基于iNeuOS工业互联网平台）**”是上传投喂给deepseek模型，上传成功后，选择相应的文件，单击“Move to Workspace”按钮移动到demo工作区；然后单击“Save and Embed”按钮，这个过程会调用all-minilm-l6-v2模型，根据文档内容的大小处理过程耗时不一样；保存成功后，在文件后面的按钮钉起来后会变成黑色，就证明选择这个文件。如下图：

    返回demo工作区后，问同样的问题：**请规划一下稀土领域的生产管控系统的内容。**如下图：

   显然deepseek模型参考了“**稀土领域生产一体化管控系统案例.docx**”文件的内容，因为内容很多就不具体展示了。总体来讲，效果还算可能。文档的内容如下图：

（鉴于很多朋友无法下载ollama和anythingllm，这里给大家整理好了安装包，扫描领取即可↓↓↓↓）