Alibaba Cloud Linux部署AnythingLLM结合Ollama

​​​​​​官网：​​​​​​AnythingLLM | The all-in-one AI application for everyoneAnythingLLM is the AI application you've been seeking. Use any LLM to chat with your documents, enhance your productivity, and run the latest state-of-the-art LLMs completely privately with no technical setup.https://anythingllm.com/

一. 安装Ollama

参考：

Alibaba Cloud Linux 基于Ollama部署DeepSeek R1:7B版本-优快云博客

二. 安装AnythingLLM

此方案是在云主机上部署AnythingLLM，并不适合使用AnyThingLLM DeskTop版本。官网提供了docker的方式安装，直接docker pull简单，但由于国情，速度不容乐观，于是本文提供了在目标主机上从源码直接构建docker镜像的方法来安装。

1. 安装docker

更新系统

yum update -y

设置Docker仓库

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

安装docker ce

yum install -y docker-ce docker-ce-cli containerd.io

设置系统自动启动docker

systemctl start docker
systemctl enable docker

创建本地目录：

mkdir -p /app/server/storage

配置加速器

/etc/docker/daemon.json

2.安装docker compose

从GitHub - Docker Compose 查看最新版本，本文发稿时最新版本为2.33.0

curl -L "https://github.com/docker/compose/releases/download/v2.33.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

如果服务器上无法访问，可以在合适的环境中下载后上传至目标主机。

注意：可以在目标主机上执行：

echo $(uname -s)-$(uname -m)

将输出结果，如： Linux-x86_64 替换掉上面的下载链接，如：

https://github.com/docker/compose/releases/download/v2.33.0/docker-compose-Linux-x86_64

下载后修改名称为docker-compose，并存放到/usr/local/bin/目录下。

修改为可执行权限：

chmod +x /usr/local/bin/docker-compose

用查看版本命令确认安装成功：

docker-compose --version

3.  安装git

yum install -y git

4. 从AnythingLLM源码编译docker镜像

GitHub - Mintplex-Labs/anything-llm

下载源码：

git clone https://github.com/Mintplex-Labs/anything-llm.git

或者在合适的环境下载zip，上传到目标服务器上。

进入项目目录

cd anything-llm

创建空的SQLite 数据库：

touch server/storage/anythingllm.db

在编译前创建.env文件

cd docker/
cp .env.example .env

构建docker镜像，需要一段时间，不过比直接docker pull 要快不少。

docker-compose up -d --build

5. 配置AnythingLLM

编译完成功运行后，AnythingLLM的默认端口为3001，需要配置主机的安全组规则适当开放3001端口。

通过 http://ip:3001即可访问AnythingLLM

注意AnythingLLM部署在docker中，其中的Ollama Base URL 需要填写宿主机的ip地址，不要使用默认的127.0.0.1 ，同时Ollama的端口11434需要开放给docker，如果成功，Ollama Model项中可以选择到之前安装的模型deepseek-r1:7b。