本地部署DeepSeek R1 + 界面可视化open-webui
本文主要讲述如何用ollama物理机本地安装和open-webui镜像部署DeepSeek R1, 镜像比较方便我们在各个机器之间快速部署。
另外,用docker 部署ollama也很方便ollama docker
显卡推荐
模型版本 | CPU | 内存 | GPU | 显卡推荐 |
---|---|---|---|---|
1.5B | 4核+ | 8GB+ | 非必需4GB+ | RTX1650、RTX2060 |
7B、8B | 8核+ | 16GB+ | 8GB+ | RTX3070、RTX4060 |
14B | 12核+ | 32GB+ | 16GB+ | RTX4090、RTX5080 |
32B | 16核+ | 64GB+ | 24GB+ | A100 40GB |
70B | 32核+ | 128GB+ | 多卡 | 2×A100 80GB |
671B | 64核+ | 512GB+ | 多卡 | 8×A100/H100 |
以上配置仅供参考
安裝部署ollama
进入 ollama官网 | https://ollama.com/,选择Download
目前支持三种系统,macos、Linux、Windows,根据自己的需求来下载,因为我是Linux系统,所以下载的就是Linux,如果你想部署到Windows服务器,就点击Windows。
- 安装
Linux上安装:
curl -fsSL https://ollama.com/install.sh | sh
使用命令行管理
- 拉取模型
sudo ollama pull deepseek-r1:32b
- 启动
sudo ollama run deepseek-r1:32b
作为服务启动
- 启动
sudo systemctl restart ollama
安裝部署open-webui镜像
echo 'export OLLAMA_HOST=0.0.0.0' >> ~/.bashrc
source ~/.bashrc
拉取并启动镜像
- 启动
docker会先拉取镜像,再启动
sudo docker run --network=host -v /work/open-webui/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
制作成docker-compose 文件管理
version: '3.8'
services:
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
restart: always
network_mode: host
volumes:
- /work/open-webui/open-webui:/app/backend/data
environment:
- OLLAMA_BASE_URL=http://127.0.0.1:11434
# Optionally add ports or other configurations if needed
ports:
- "8080:8080"
启动镜像
sudo docker-compose up
进入设置界面,配置ollama服务地址
链接过程中遇到故障 服务器连接问题
下载模型
进入到 open-webui的主页,点击 + 号,添加模型
搜索模型,输入deepseek-r1:32b,或其他版本的模型,下载模型需要等待,请耐心等待模型下载完整。
开始进入搜嘎模型:
END