使用Ollama和Open WebUI本地部署DeepSeek

1 引言

DeepSeek是一款强大的AI模型，能够处理复杂的自然语言任务。本文将指导你如何在本地使用Ollama和Open WebUI部署DeepSeek，让你能够在自己的机器上运行这个强大的AI工具。

1.1 本地部署DeepSeek的优缺点

优点

• 数据隐私: 所有数据都在本地处理，避免敏感信息泄露。
• 离线可用: 无需网络连接即可使用，适合网络不稳定或数据敏感的场景。
• 定制化: 可根据需求调整模型参数或进行微调，获得更符合预期的结果。
• 性能可控: 本地硬件配置直接影响性能，可根据需要升级硬件提升速度。

缺点

• 硬件要求高: 深度学习模型对算力要求高，本地部署需要高性能CPU/GPU，成本较高。
• 部署复杂: 需要一定的技术背景，配置环境和调试模型可能耗时。
• 维护成本: 需自行更新模型和修复问题，增加维护负担。
• 功能受限: 本地部署可能无法使用云端的全部功能，如自动更新或扩展服务。

2 部署

2.1 部署环境

• 操作系统: Windows
• Python: 3.7或更高版本
• GPU: 虽然不是必须的，但推荐使用以加速推理（如果不缺钱的话，我这里用的CPU，本人很穷！！！）

2.2 安装Ollama

2.2.1 Ollama简介

官网地址：https://ollama.com/
Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。它支持多种流行的大规模预训练模型，如 LLaMA2、Phi、Gemma 等。以下是其主要特点：

• 简化部署：Ollama 简化了在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。
• 轻量级与可扩展：作为轻量级框架，Ollama 保持了较小的资源占用，同时具备良好的可扩展性。
• API 支持：提供简洁的 API，使得开发者能够轻松创建、运行和管理大型语言模型实例。
• 预构建模型库：包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序。
• 模型导入与定制：支持从 GGUF、PyTorch 或 Safetensors 导入模型，用户还可以通过 Modelfile 定制模型参数和行为。
• 本地运行与隐私保护：允许用户在本地机器上部署和运行语言模型，无需依赖外部服务器或云服务，提高了数据处理的隐私性和安全性。
• 多平台支持：支持 macOS、Windows 和 Linux 等多种操作系统。
• 丰富的应用场景：可用于对话生成、文本生成、情感分析、文本摘要、翻译等多种自然语言处理任务。

Ollama 的目标是让大型语言模型的本地部署和使用更加简单高效，适合开发者和企业用户在本地环境中快速部署和应用。

2.2.2 下载Ollama

• 官网下载

直接下载

选择自己的系统

安装后查看是否成功

ollama -v

2.2.2 Ollama常用命令

服务管理

• 启动Ollama服务：ollama serve，用于在后台启动Ollama服务。
• 停止Ollama服务：ollama stop，用于停止正在运行的Ollama服务。
• 重启Ollama服务：ollama restart

模型管理

• 拉取模型：ollama pull <model-name>，从模型库中下载模型。
• 运行模型：ollama run <model-name>，运行已下载的模型。
• 列出本地模型：ollama list 或 ollama ls，查看已下载的模型列表。
• 删除模型：ollama rm <model-name>，删除本地模型。
• 复制模型：ollama cp <source-model-name> <new-model-name>，复制一个已存在的模型。
• 推送模型：ollama push <model-name>，将自定义模型推送到模型库。

自定义模型

• 创建自定义模型：ollama create <custom-model-name> -f <Modelfile>，基于现有模型和Modelfile创建自定义模型。
• 查看模型详细信息：ollama show <model-name>，查看指定模型的详细信息

其他

• 查看帮助：ollama --help，查看所有可用命令。
• 查看版本信息：ollama -v 或 ollama --version，显示当前安装的Ollama版本。
• 更新Ollama：ollama update。
• 查看日志：ollama logs。
• 清理缓存：ollama clean。

2.3 下载DeepSeek模型

在Ollama官网首页，点击models。

排名第一的就是DeepSeek-R1模型了，可以其火爆程度。

根据自己的电脑配置，下载即可，第一次run会自动下载模型。

命令行尝试

命令行很不方便，接下来配置一个UI界面，方便使用。

2.4 配置Open WebUI

后续操作，关注公众号，查看完整内容！