本地部署DeepSeek R1 + 界面可视化open-webui【ollama本地物理+open-webui容器】

本地部署DeepSeek R1 + 界面可视化open-webui

本文主要讲述如何用ollama物理机本地安装和open-webui镜像部署DeepSeek R1, 镜像比较方便我们在各个机器之间快速部署。

另外,用docker 部署ollama也很方便ollama docker

显卡推荐

模型版本CPU内存GPU显卡推荐
1.5B4核+8GB+非必需4GB+RTX1650、RTX2060
7B、8B8核+16GB+8GB+RTX3070、RTX4060
14B12核+32GB+16GB+RTX4090、RTX5080
32B16核+64GB+24GB+A100 40GB
70B32核+128GB+多卡2×A100 80GB
671B64核+512GB+多卡8×A100/H100

以上配置仅供参考

安裝部署ollama

进入 ollama官网 | https://ollama.com/,选择Download

在这里插入图片描述
目前支持三种系统,macos、Linux、Windows,根据自己的需求来下载,因为我是Linux系统,所以下载的就是Linux,如果你想部署到Windows服务器,就点击Windows。

  • 安装
    Linux上安装:
curl -fsSL https://ollama.com/install.sh | sh

在这里插入图片描述

使用命令行管理

  • 拉取模型
sudo ollama pull deepseek-r1:32b
  • 启动
sudo ollama run deepseek-r1:32b

作为服务启动

  • 启动
sudo systemctl restart  ollama

安裝部署open-webui镜像

echo 'export OLLAMA_HOST=0.0.0.0' >> ~/.bashrc
source ~/.bashrc

拉取并启动镜像

  • 启动
    docker会先拉取镜像,再启动
sudo docker run --network=host -v /work/open-webui/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

制作成docker-compose 文件管理

version: '3.8'

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    network_mode: host
    volumes:
      - /work/open-webui/open-webui:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://127.0.0.1:11434
    # Optionally add ports or other configurations if needed
    ports:
      - "8080:8080"

启动镜像

sudo docker-compose up

进入设置界面,配置ollama服务地址
在这里插入图片描述
链接过程中遇到故障 服务器连接问题

下载模型

进入到 open-webui的主页,点击 + 号,添加模型
在这里插入图片描述
搜索模型,输入deepseek-r1:32b,或其他版本的模型,下载模型需要等待,请耐心等待模型下载完整。
在这里插入图片描述

开始进入搜嘎模型:
在这里插入图片描述

END


在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

且漫CN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值