部署基于 LLM 的私有知识库系统 AnythingLLM

一、Flexus云服务器X实例介绍

云服务器，如同虚拟的超级计算机，是云计算技术的核心组成部分。它通过网络提供计算资源，包括处理器、内存、存储和操作系统等，用户可以根据需求灵活配置和扩展。云服务器具备高可用性、弹性伸缩和快速部署等特点，适用于各种规模的企业和开发者，无论是网站托管、数据分析还是应用开发，都能提供稳定、高效的支持。

华为云下一代云服务器Flexus X实例焕新上线，新产品搭配弹性伸缩服务AS及负载均衡服务ELB，可以实现基于业务负载的快速弹缩，从容应对多变的市场业务压力，覆盖高科技、零售、金融、游戏等行业大多数通用工作负载场景。

Flexus X实例通过和其他服务组合，具备计算、镜像安装、网络、存储、安全等能力，您可根据业务需要灵活配置各资源。

本次测评使用的规格是：4核12G-100G-3M规格的Flexus X实例基础模式

二、Flexus云服务器X实例配置

2.1 重置密码

购买服务器的时候可以提前设置用户名和密码，因为我这里跳过了，所以购买完成后需要重置密码，会短信或站内消息通过你的云服务器信息，重点是公网IP地址和用户名，首先打开你的服务器控制台，选择重置密码

勾选自动重启，点击确定即可

2.2 服务器连接

华为云服务器提供了多种链接方式，如使用控制台提供的VNC方式登录、使用Linux/Mac OS系统主机登录Linux弹性云服务器（即ssh root@192.168.48.78命令）或者使用Putty、Xshell等工具登录Linux弹性云服务器。

我个人习惯使用 MobaXterm 这款软件，添加SSH连接，输出公网IP、用户名和端口(默认22)，连接即可。

2.3 安全组配置

安全组是一个逻辑上的分组，为同一个VPC内的云服务器提供访问策略。用户可以在安全组中定义各种访问规则，当云服务器加入该安全组后，即受到这些访问规则的保护。

系统为每个网卡默认创建一个默认安全组，默认安全组的规则是对出方向上的数据报文全部放行，入方向访问受限。您可以使用默认安全组，也可以根据需要创建自定义的安全组。

主要需要填写优先级（默认填1即可）、协议端口（协议一般为TCP或UDP，端口一般选择你项目需要暴露的端口即可），描述（选填，一般会填写此端口的用途以免忘记了），其他默认点击确定即可。安全组配置主要是暴露端口可以给外网访问。

如果还不清楚可以参考文档：安全组配置示例

​

2.4 Docker 环境搭建

本次服务器环境是ubuntu系统镜像，需要自己安装docker环境

服务器类别	系统镜像	内网IP地址	Docker版本	操作系统版本
Flexus云服务器X实例	Ubuntu	192.168.0.168	27.2.0	Ubuntu 22.04.4 LTS

使用apt-get命令安装docker及其配置

# 安装必要工具包
$ sudo apt-get install \
apt-transport-https \
ca-certificates \
curl \
gnupg-agent \
software-properties-common

# 添加Docker GPG秘钥
$ sudo curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

# 配置仓库源
$ sudo add-apt-repository \
“deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \
$(lsb_release -cs) \
stable”

# 更新apt包索引
$ sudo apt-get update

# 安装docker
$ sudo apt-get install docker-ce docker-ce-cli containerd.io

# 添加docker镜像源
$ sudo vim /etc/docker/daemon.json

{
“registry-mirrors”: [
“https://ustc-edu-cn.mirror.aliyuncs.com/”,
“https://docker.mirrors.ustc.edu.cn”,
“https://docker.nju.edu.cn”,
“https://ccr.ccs.tencentyun.com/”,
“https://docker.m.daocloud.io/”,
“https://dockerproxy.com”,
]
}
# 重启
$ sudo systemctl daemon-reload
$ sudo systemctl restart docker

测试docker安装是否成功

root@flexusx-c6b3:~# docker -v
Docker version 27.2.0, build 3ab4256```

检查docker服务状态

root@flexusx-c6b3:~# systemctl status docker
* docker.service - Docker Application Container Engine
Loaded: loaded (/lib/systemd/system/docker.service; enabled; vendor preset: enabled)
Active: active (running) since Fri 2024-08-30 15:53:45 CST; 17h ago
TriggeredBy: * docker.socket
Docs: https://docs.docker.com
Main PID: 24912 (dockerd)
Tasks: 13
Memory: 24.7M
CPU: 3.778s
CGroup: /system.slice/docker.service
`-24912 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock

检查docker compose版本

root@flexusx-c6b3:~# docker compose version
Docker Compose version v2.29.2

三、Flexus云服务器X实例部署 AnythingLLM

3.1 AnythingLLM 介绍

AnythingLLM是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能聊天。

AnythingLLM将您的文档划分为称为workspaces (工作区)的对象。工作区的功能类似于线程，同时增加了文档的容器化，。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。

•工作区内的智能体Agent（浏览网页、运行代码等）

•为您的网站定制的可嵌入聊天窗口

•支持多种文档类型（PDF、TXT、DOCX等）

•通过简单的用户界面管理向量数据库中的文档

•两种对话模式：聊天和查询。聊天模式保留先前的对话记录。查询模式则是是针对您的文档做简单问答

•聊天中会提供所引用的相应文档内容

•100%云部署就绪，部署你自己的LLM模型

•管理超大文档时高效、低耗。只需要一次就可以嵌入（Embedding)一个庞大的文档或文字记录。比其他文档聊天机器人解决方案节省90%的成本。

•全套的开发人员API，用于自定义集成！

AnythingLLM 这是一个全栈应用程序，可以将任何文档、资源（如网址链接、音频、视频）或内容片段转换为上下文，以便任何大语言模型（LLM）在聊天期间作为参考使用。此应用程序允许您选择使用哪个LLM或向量数据库，同时支持多用户管理并设置不同权限。

•官网：https://anythingllm.com/

•Github：https://github.com/Mintplex-Labs/anything-llm

​

3.2 AnythingLLM 部署

使用 AnythingLLM 的 Dockerized 版本可以更快、更完整地启动 AnythingLLM。

•系统要求

•至少使用 2GB 的 RAM

•磁盘存储量与您要存储的数据量（文档、向量、模型等）成正比，建议至少使用 10GB

•支持 amd64 和 arm64 CPU 架构

•启动服务

进入项目目录，执行docker run启动命令，会自动拉取容器并运行

从 Dockerhub 拉取 AnythingLLM 镜像，地址：https://hub.docker.com/r/mintplexlabs/anythingllm

root@flexusx-c6b3:~/anythingllm# export STORAGE_LOCATION=$HOME/anythingllm && \
> mkdir -p KaTeX parse error: Expected 'EOF', got '&' at position 18: …ORAGE_LOCATION &̲& \ \> …STORAGE_LOCATION/.env" && \
> docker run -d -p 3001:3001 \
> --add-host=host.docker.internal:host-gateway \
> --cap-add SYS_ADMIN \
> -v ${STORAGE_LOCATION}:/app/server/storage \
> -v ${STORAGE_LOCATION}/.env:/app/server/.env \
> -e STORAGE_DIR=“/app/server/storage” \
> mintplexlabs/anythingllm
Unable to find image ‘mintplexlabs/anythingllm:latest’ locally
latest: Pulling from mintplexlabs/anythingllm
3713021b0277: Already exists
4f4fb700ef54: Pull complete
78a198160648: Already exists
a27ed7bc25cf: Already exists
6d83ddae0691: Already exists
79e719e81afe: Already exists
817d5df44fb0: Already exists
a6b336ff6d2b: Already exists
a4b82c0d7dcf: Pull complete
a9ba2c1d3aa1: Pull complete
1c79ea6c8bb3: Pull complete
a925f6236313: Pull complete
597083986aa8: Pull complete
a085406b6ece: Pull complete
be39880fa762: Pull complete
Digest: sha256:92babe26fb5faf4b66f82da41982c1e42663b83cfe524d8620acb769e5606fd6
Status: Downloaded newer image for mintplexlabs/anythingllm:latest
2d12595ad9823dc4f38bf61f64791bb3b082e87cc4b39d9f6f5a8e8b11158ed0

•配置安全组

在Flexus云服务器X实例的安全组管理页面，添加入方向规则，接下来我们启动服务需要监听3001端口，所以添加安全组为TCP:3001协议端口。

•检查容器状态

检查 AnythingLLM 容器状态，确保容器正常启动

root@flexusx-c6b3:~/anythingllm# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
82c056f55e5c mintplexlabs/anythingllm “/bin/bash /usr/loca…” 2 hours ago Up 2 hours (healthy) 0.0.0.0:3001->3001/tcp, :::3001->3001/tcp affectionate_cori

若运行docker ps查看，出现运行的容器状态然后又消失的话，查看日志出现如下报错

anything-llm | Error: SQLite database error
anything-llm | attempt to write a readonly database
anything-llm | 0: sql_schema_connector::sql_migration_persistence::initialize
anything-llm | with namespaces=None
anything-llm | at schema-engine/connectors/sql-schema-connector/src/sql_migration_persistence.rs:14
anything-llm | 1: schema_core::state::ApplyMigrations
anything-llm | at schema-engine/core/src/state.rs:201

请执行下面命令修改目录权限解决问题

chmod -R 777 /root/anythingllm

•访问地址

内网：http://localhost:3001
外网：http://公网IP:3001

•访问结果

3.3 AnythingLLM 使用

首次进入会进行一些初始化的设置，点击Get Started 进入选择具体的LLM，AnythingLLM 可以与许多 LLM 提供商合作，这将是处理聊天的服务

我这里选择Local AI，在 Local AI Base Url 填写之前部署的Ollama服务地址：http://123.60.144.170:11434/v1，然后会识别到模型为 llama2，填写 Token context window 大小，Key 可以不用填写，点击下一步

用户设置，需要确定是否多人使用、是否需要设置密码，我这里仅自己使用并设置访问密码

LLM Selection 是你的模型和聊天只能在运行 LocalAI 的服务器上访问，当然你也可以使用 OpenAI，使用更强大的云端模型，提供基础模型支持，但这样的话，就不是完全本地化的私有部署了。Embedding 配置 是你的文档文本已私密嵌入到 AnythingLLM 的此实例中。矢量数据库 是你的向量和文档文本将私密存储在 AnythingLLM 的此实例上。

跳过调查

创建你的第一个工作区并开始使用 AnythingLLM

首先进入设置 - 外观 - 设置语言为Chinese，这里的汉化并不完全，还是有很多英文的地方，但是不影响使用甚至可以使用翻译插件

主界面主要是工作区、消息区和文档、设置区

点击工作区，开启一个Chat Thread，我们可以上传文档或者直接对话

例如直接对话，是通过选择的LLM模型推理返回的，对话结果取决于大模型的能力，我这里使用的 llama ，中文能力一般

也可以上传文档，需要将文档加入到工作区才可以在对话中引用到

上传本地的一个PDF文档，选择加到工作区

还可以通过数据连接器直接获取解析网络内容，例如Gihub、Youtube、或者抓取网站内容的

等待抓取网站内容结束后，添加到工作区

可以直接引用抓取的数据来回答

还可以直接在消息对话框，选择文件上传后，直接对话，我们可以查看日志解析文档成功的

[collector] info: [SUCCESS]: apple_intelligence_foundation_language_models.pdf converted & ready for embedding.
[backend] info: [CollectorApi] Document apple_intelligence_foundation_language_models.pdf uploaded processed and successfully. It is now available in documents.

工作区设置，可以修改工作区名称和头像，删除工作区，自定义建议的聊天消息

工作区的聊天设置，LLM 提供者选择、聊天模式切换（聊天将提供 LLM 的一般知识 和 找到的文档上下文的答案，查询将仅提供找到的文档上下文的答案）、聊天历史记录等，还有向量数据库最大上下文片段、文档相似性阈值设置、代理设置

管理员、对话历史记录、代理技能、外观、工具（嵌入式对话历史记录、嵌入式对话、事件日志、API 密钥、浏览器扩展）、用户与安全、实验功能

传统LLM在专业场景的局限性，但通过检索增强生成(RAG)作为解决方案，通过Ollama和AnythingLLM实现在本地构建私有知识库，以提高大模型在特定领域的准确性和数据安全性，测试结果显示，结合RAG的LLM在回答问题时更为精确。AnythingLLM 界面中文支持不是很完全，上手操作不难，但是如果想要好的效果，需要调节参数和数据库匹配方式就需要看看说明文档了，更多有趣的设置和功能就需要自行探索了。

四、总结

AnythingLLM是一款多功能人工智能应用，旨在为用户提供一个统一的平台来处理多种类型的文档和模型。无论是在Windows、MacOS，还是Linux系统上，用户都可以通过简单的“一键安装”来获取完整的工具套件。它支持包括PDF、Word文档等多种格式的文件处理，并允许用户连接各种自定义或开源的语言模型，如GPT-4、Llama、Mistral等，因此用户不再受到单一模型的约束。此外，AnythingLLM能够完全在本地运行，只与用户明确连接的服务进行交互，这大大增强了数据的隐私保护。此次使用的Flexus X实例配置还是很高的4核12G-100G-3M规格的基础模式，尽管本地运行ollama模型，也能在推理过程中抗住压力，稳定输出，尽管输出缓慢，CPU和内存占用也没有超过60%，整体体验很好。

如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。