【AI测试学习】AnythingLLM+Ollama+DeepSeek部署私人知识库

1.搭建DeepSeek大语言模型

1.1Ollama大预言模型部署

Ollama简化了大型语言模型的运行，让每个人都能在本地轻松体验AI的强大，打开浏览器-下载Ollama-输入命令-搞定，这是本地部署大语言模型的全新方式。

这里我们借助Ollama大预言模型部署工具进行搭建

官网如下：Ollama

安装包也可百度网盘获取：
链接: https://pan.baidu.com/s/1fcM1MH7VK_6qfhCXvLjuEQ?pwd=ycy7 提取码: ycy7

 安装完成后，桌面右下角会显示ollama图标

1.2.安装DeepSeek

复制ollama run deepseek-r1:14b，打开cmd输入命令即可进行安装

 1.3、安装Embedding模型 

此外，在搭建私人知识库过程中，为了将数据转换为计算机易于处理的数值形式，同时减少信息的维度和复杂度，进行特征抽取，还需要安装Embedding模型：

复制命令ollama pull nomic-embed-text，输入cmd进行安装 

利用ollama list进行检查

---

介绍几个Ollama常用的命令:

1.启动ollama服务

ollama serve

2.创建模型 (create)

使用 Modelfile 来创建一个新模型。你需要提供一个包含模型信息的 Modelfile。

ollama create /path/to/Modelfile

3.显示模型信息 (show) 

查看特定模型的详细信息，例如模型名称、版本等。

ollama show model_name

4.列出所有模型 (list)
列出本地所有可用的模型,可以在这里查找模型名称。

ollama list
ollama ls

5.运行模型 (run)
运行一个已安装的模型，执行某些任务。

ollama run model_name

6.列出正在运行的模型 (ps)
显示当前正在运行的模型列表。

ollama ps

7.删除模型 (rm)
删除一个已安装的模型。

ollama rm model_name

8.查看版本 (version)
显示当前 ollama 工具的版本信息。

ollama -v
ollama --version

9.复制模型 (cp)
复制一个模型到另一个位置或给定名称的地方。

ollama cp old_model new_model

10.从注册表拉取模型 (pull)
从模型注册表中拉取一个模型，供本地使用。

ollama pull model_name

11.推送模型到注册表 (push)
将本地模型推送到模型注册表中，以便他人或其他系统使用。

ollama push model_name

2.安装AnythingLLM

但是仅仅运行一个大语言模型还不够。如何让它真正理解你的数据，回答你的问题？这时，AnythingLLM就派上了用场。

它能将你的文档、笔记、网页等各种数据源连接到本地Ollama运行的DeepSeek模型，构建一个真正属于你的，个性化的知识库问答系统。告别在海量信息中苦苦搜索，让AI成为高效的知识助手！

官网：AnythingLLM | The all-in-one AI application for everyone

点击"Download for desktop" 下载

安装包也可百度网盘获取：
链接: https://pan.baidu.com/s/1Yhi_CJ3tW6LBQ7yfwKSlcA?pwd=wjra 提取码: wjra

安装过程这里不再展示，安装完成后进行私人知识库部署。 

3.私人知识库部署

（1）LLM首选项设置

在 LLM Preference 中，根据自己的需求配置大语言模型。 

（2）Embedder首选项

（3）私人知识库构建

选择我们建立的Yansky工作区，上传文档：

把文档移动到工作区，并点击Save and Embed，等系统处理完成：

以上基本就完成私人数据库的搭建。

我们，点击下方的Show Citations，之后就可以发现DeepSeek所参考的文档列表

（4）测试知识库效果

综上，我们可以看到大模型的回答基本上引用了文档的内容。