实战经验之centos8+docker+ollama+deepssek r1-8b+anythingllm搭建局域网企业知识库

一、服务器配置

操作系统centOS8，服务器规格24C128G1T
linux内核3.1以上，低于3.1自行升级

// 查看linux内核版本
uname -r

二、部署docker

#1、yum安装，前提部署好yum源
yum install https://download.docker.com/linux/centos/8/x86_64/stable/Packages/containerd.io-1.4.3-3.1.el8.x86_64.rpm --allowerasing
# 2、安装docker-ce
yum install docker-ce
#3、启动服务
systemctl enable docker
systemctl start docker

4、这个是我启动docker的时候报错了，所以通过以下方式解决

#备份文件
cp /etc/docker/daemon.json{,.bak}
#写入内容
sudo tee /etc/docker/daemon.json <<-'EOF'
 {
  "registry-mirrors": [
    "registry-mirrors": [
    "https://docker.1ms.run",
    "https://docker.1panel.live/"
  ]
 }
  EOF
  

#重启服务
sudo systemctl daemon-reload
sudo systemctl restart docker

三、部署ollama

docker pull ollama/ollama
docker run -d --name ollama -p 11434:11434 ollama/ollama

浏览器可以访问localhost(或者服务器地址):11434

四、下载deepseek r1

我这里以deepseek-r1:8b为例，其他版本可以替换对应代码

 docker exec -it ollama ollama run deepseek-r1:8b

五、部署anythingllm

可以访问官网https://docs.anythingllm.com/installation-docker/local-docker

1、通过官网可以看到安装anythingllm需要安装docker\yarn\node，另外部分代码还需要PowerShell运行

这个是node官网
https://nodejs.org/en/download/current

#1、安装yarn及node
 docker pull node:23-alpine
 docker run -it --rm --entrypoint sh node:23-alpine
 node -v
 corepack enable yarn
 yarn -v
#2、安装powershell
 sudo dnf install https://github.com/PowerShell/PowerShell/releases/download/v7.5.0/powershell-7.5.0-1.rh.x86_64.rpm

#3、安装相关目录并授权

cd /root
touch .env
mkdir storage
cd storage/
touch anythingllm.db
chown 1000:1000 /root/anythingllm/ -R

#4、安装anythingllm
 docker pull mintplexlabs/anythingllm

 export STORAGE_LOCATION=$HOME/anythingllm && mkdir -p $STORAGE_LOCATION && touch "$STORAGE_LOCATION/.env" && docker run -d -p 3001:3001 --cap-add SYS_ADMIN -v ${STORAGE_LOCATION}:/app/server/storage -v ${STORAGE_LOCATION}/.env:/app/server/.env -e STORAGE_DIR="/app/server/storage" mintplexlabs/anythingllm

通过浏览器可访问localhost（或者服务器地址）:3001,就可以初始化了，可惜初始化没有截图，大概就是
选择ollma、本地大模型，然后创建团队账号

六、部署embedding

docker exec -it ollma  ollama pull nomic-embed-text