使用Ollama+AnythingLLM快速搭建本地LLM+RAG环境

这里是以Mac为例子进行的操作，Windows系统的操作方法一样。这样搭建方式为的是快速测试模型和RAG作为POC。

1. 安装Ollama

打开Ollama的网站https://ollama.ai，根据提示下载对应的软件包。

 对于Mac来说，会下载了一个Ollama-darwin.zip的压缩包。解压后把Ollama.app文件拖动到Applications里面就可以了。

2. 在Ollama里面下载LLM模型和Embedding模型

运行Ollama后保证菜单栏有个羊驼在。

打开命令行，运行ollama pull <模型:版本>去下载LLM模型和Embedding模型。

LLM模型这里选择deepseek-r1:7b：

ollama pull deepseek-r1:7b

Embedding模型这里选择选择bge-m3:latest：

ollama pull bge-m3:latest

你也可以自己选择电脑可以支持的LLM模型和Embedding模型。

3. 安装AnythingLLM

打开AnythingLLM的官方网站https://anythingllm.com/，下载对应的版本。

以Mac为例，MacOs有分不同芯片的版本。下载完后是一个DMG文件。直接双击安装就可以了。

4. 配置AnythingLLM

首先设置LLM模型，我们选择本地刚刚安装好的Ollama里面的LLM模型（比如deepseek-1r:7b）。同时，Ollama Base URL一般都是默认为http://127.0.0.1:11434。

然后选择Embedder的模型（比如bge-m3:latest）。Ollama Base URL都是和上面的LLM模型一样的。

5. 在AnythingLLM里面设置RAG文档

创建好AnythingLLM的Workspace后，点击下面那个配置按钮打开RAG文档配置。

在新开的窗口里面，上传需要作为RAG文档的文件，移到右边我们的Workspace。

这个会根据文档的大小，需要一些时间去创建RAG对应的数据库。

6. 测试AnythingLLM的对话功能

好了，现在你有一个本地的大模型。你可以选择默认线程（default）去进行对话了。

这只是一个快速的搭建教程，方便做一些POC。当然AnythingLLM还可以支持设置各种常见的AI对话需要用到的功能，比如：系统提示词，代理，网页搜索等等功能。你可以自己慢慢去尝试。