ollama离线部署+Llama3+Open WebUI+centos大模型models存储位置修改

1.安装 ollama

1.1 下载ollama

https://github.com/ollama/ollama
github 选择自己适合的版本 我这里选择

wget https://github.com/ollama/ollama/releases/download/v0.2.8/ollama-linux-amd64

1.2 移动到文件

mv ollama-linux-amd64 /usr/bin/ollama

添加权限

chmod +x /usr/bin/ollama

1.3 创建Ollama用户

useradd -r -s /bin/false -m -d /usr/share/ollama ollama

1.4.创建服务文件和修改models存储位置修改

vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
#配置远程访问
Environment="OLLAMA_HOST=0.0.0.0"
#配置跨域请求
Environment="OLLAMA_ORIGINS=*"
#配置OLLAMA的模型存放路径，默认路径是/usr/share/ollama/.ollama/models/
Environment="OLLAMA_MODELS=/data/soft/ollama/.ollama/models"

[Install]
WantedBy=default.target

其中 LLAMA的模型存放路径，默认路径是 /usr/share/ollama/.ollama/models/
修改以后 这里使用的是
Environment=“OLLAMA_MODELS=/data/soft/ollama/.ollama/models”

如果路径不存在，创建并设置权限：

sudo mkdir -p /data/soft/ollama/.ollama/models
sudo chown -R ollama:ollama /data/soft/ollama/.ollama

如有报错查看日志

sudo journalctl -u ollama -n 100 --no-pager

1.5 执行命令

sudo systemctl daemon-reload
sudo systemctl start ollama

看端口号 11434 启动与否

netstat -ano |grep 11434

存在则启动成功

1.6 测试

ollama --version

ollama version is 0.2.8

2.安装大模型

2.1 下载

这里以 llama3.1-8b 为例

ollama run llama3.1:8b

等待下载完毕

随便看一眼 之前修改的大模型存储位置是否修改成功

如图修改成功

2.2 测试

3.Open WebUI 部署

3.1 安装Docker

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum install docker-ce
sudo systemctl start docker

3.2 安装部署

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待下载
我这里是云服务器 下载速度还可以 如果拉取速度慢 可修改docker 增加加速器 比如阿里的 这里略过

3.3 验证 成功

3.4 登录

输入：

http://ip:3000/

这个3000端口是docker 映射到宿主机的3000端口 如果需要更改 在docker运行的时候自定义修改

然后需要注册

首次登录 需要注册 管理员账号 邮箱可随意写

返回登录

选择模型


测试

至此全部成功部署

经过实测16核cpu 运行llama3.1:8b 还是有些卡顿 速度不是那么快