Ubuntu本地部署AnythingLLM实现本地文档RAG，大模型入门到精通，收藏这篇就足够了！

原创于 2025-11-13 10:24:23 发布 · 262 阅读

CC 4.0 BY-SA版权

文章标签：

#langchain #llama #人工智能 #LLM #Agent #huggingface #程序员

在企业内部，随着时间会慢慢积累大量的文档，这些文档若不能有效地利用，会造成很大的浪费。如何能够利用工具让沉淀的文档变成企业的资产，一直以来都是企业信息化的重要工作。幸好AI大模型的出现，让这一切都有了可能，今天实测一下AnythingLLM。

AnythingLLM是一款功能很强大的全栈应用程序，它能将你的文档、资源（如网址、音频、视频）或任何内容片段，转化为可供大型语言模型（LLM）在聊天时参考的上下文。简单的来说，你可以把它想象成一个高度定制化且私有部署的“ChatGPT”，但它的独特之处在于，能让AI模型基于你提供的资料进行对话和回答。

1、本地部署AnythingLLM

准备本地环境，因为是测试环境，在云环境上创建8核32G虚拟机。
系统：Ubuntu 20.04.5 LTS
内核：5.4.0-125-generic

根据官方提供的部署信息，这里采用docker的方式。先来安装一下docker环境。

# 添加Docker官方GPG密钥curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg# 添加Docker稳定版仓库echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null# 安装Docker引擎sudo apt updatesudo apt install -y docker-ce docker-ce-cli containerd.io

可以查看一下docker的版本。

root@i-zz6dpdid:~# docker --version  Docker version 28.1.1, build 4eba377

拉取AnythingLLM的镜像，为了快速拉到镜像，可以改一下国内docker的镜像源。或者直接到指定网站拉取。

root@i-zz6dpdid:~# docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/mintplexlabs/anythingllm:latest......root@i-zz6dpdid:~# docker image lsREPOSITORY                                                                    TAG       IMAGE ID       CREATED        SIZEswr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/mintplexlabs/anythingllm   latest    7606bb3edd61   9 months ago   2.47GB

获取到mintplexlabs/anythingllm:latest的docker镜像后，可以按照官网给出的启动方法操作，路径和镜像稍微修改一下。

#提前创建目录和env，并修改好权限mkdir -p /opt/anythingllmtouch /opt/anythingllm/.envchown -R 1000:1000 /opt/anythingllmchmod -R 755 /opt/anythingllm#启动docker，记得加root，否则可能失败export STORAGE_LOCATION=/opt/anythingllm && \docker run -d -p 3001:3001 \--user root \--cap-add SYS_ADMIN \-v ${STORAGE_LOCATION}:/app/server/storage \-v ${STORAGE_LOCATION}/.env:/app/server/.env \-e STORAGE_DIR="/app/server/storage" \swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/mintplexlabs/anythingllm

好了，启动成功后，可以打开浏览器看下