ollama如何部署deepseek

以下是部署 Ollama、DeepSeek 和 OpenWebUI 的完整指南

一、核心组件部署流程

  1. Ollama 安装
    • Windows:官网下载安装包,双击安装后验证版本 ollama --version
    • Linux/macOS:执行 curl -fsSL https://ollama.com/install.sh | sh 安装。
    • Docker 集成:通过 docker run -d -p 11434:11434 --name ollama ollama/ollama 启动容器。
  2. DeepSeek 模型部署
    • 拉取模型:运行 ollama pull deepseek-r1:7b(7B 参数版需 8GB 内存,14B 版需 16GB 内存)。
    • 启动服务:执行 ollama serve 或通过 Docker 容器启动。
    • GPU 支持:安装 NVIDIA 容器工具包,添加 --gpus all 参数启用 GPU 加速。
  3. OpenWebUI 部署
    • Docker 方案
       

      docker run -d -p 8186:8080 \ -v open-webui:/app/backend/data \ --name open-webui \ ghcr.io/open-webui/open-webui:main

      支持通过 localhost:8186 访问。
    • 本地 Python 方案:安装 Python 3.11 后执行 pip install open-webui,启动命令 open-webui serve

二、关键配置优化

  • 网络配置:修改 Ollama 监听地址为 0.0.0.0(编辑 /etc/systemd/system/ollama.service 添加 Environment=OLLAMA_HOST=0.0.0.0)。
  • 权限管理:在 OpenWebUI 管理员面板设置用户组权限,允许模型共享。
  • 性能调优
    • 调整 SWAP 空间:sudo fallocate -l 4G /swapfile && sudo chmod 600 /swapfile
    • 模型参数设置:建议 Temperature=0.7,Max Token=4096。

三、验证与使用

  1. 浏览器访问 服务器IP:8186,注册管理员账号。
  2. 在 设置-外部连接 填入 Ollama 地址(默认 http://localhost:11434)。
  3. 选择 deepseek-r1 模型进行对话测试,例如输入编程问题验证推理能力。

四、常见问题解决

  1. OpenWebUI 加载慢:关闭 管理员面板-外部链接-ai_api 选项。
  2. 模型未显示:检查模型是否成功拉取,或手动添加模型路径。
  3. GPU 未识别:验证 NVIDIA 驱动版本 ≥ 535,执行 nvidia-smi 确认 GPU 状态。
  4. 局域网访问失败:检查防火墙规则,确保 11434(Ollama)和 8186(WebUI)端口开放。

五、扩展应用(可选)

  • 知识库集成:通过 LangChain + FAISS 构建 RAG 系统,支持 PDF/TXT 文件解析。
  • 多用户协作:配置虚拟局域网(如 ZeroTier)实现跨地域团队共享。

提示:部署前建议参考官方文档,不同环境(云服务器/本地PC)配置差异主要在网络端口和资源分配。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值