DeepSeek 本地化部署与 WebUI 配置的方法

最新推荐文章于 2025-06-04 23:01:18 发布

原创最新推荐文章于 2025-06-04 23:01:18 发布 · 656 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#deepseek

环境准备

硬件要求 ：推荐 Linux 操作系统，如 Ubuntu 20.04 及以上版本。内存至少 16GB，显存至少 8GB，SSD 硬盘空间至少 50GB，有支持 CUDA 的 NVIDIA GPU 更佳，推荐显存 16GB 及以上。
软件依赖 ：需要安装 Python 3.8 及以上版本，以及 pip 包管理工具。根据 NVIDIA GPU 型号和驱动版本，安装合适的 CUDA（11.2 及以上版本）和 cuDNN（8.1 及以上版本）。

安装部署

安装 PyTorch ：根据 CUDA 版本选择合适的 PyTorch 安装命令。例如，CUDA 11.2 的安装命令如下：

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu112

克隆代码库及安装依赖 ：

git clone https://github.com/deepseek-ai/deepseek.git
cd deepseek
pip install -r requirements.txt

下载模型并配置路径 ：从官方提供的链接下载 DeepSeek 模型权重，放置在 models/目录下，并设置模型路径和 GPU 设备号等环境变量：

export MODEL_PATH=models/deepseek_model.pth
export CUDA_VISIBLE_DEVICES=0

WebUI 配置

使用 Open WebUI ：
- 参考，先通过代码下载动态量化后的 DeepSeek 模型，如 1.58 bit 量化模型。
- 编译并运行 llama.cpp，使用 llama-server 命令启动服务，如：

export LD_LIBRARY_PATH=$(pwd)/build/bin:$LD_LIBRARY_PATH
./build/bin/llama-server --model ./DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf --host 0.0.0.0 --port 10000 --ctx-size 32768 --n-gpu-layers 61

* 将量化版模型服务接入 Open WebUI，点击左下角用户图标，进入管理员面板，依次点击 “设置”->“外部连接”->“管理 OpenAI API 连接”->“添加一个连接”，填入服务器 IP 和端口等信息。

使用 Ollama 配合 Chatbox ：
- 安装 Ollama 后，通过命令行下载 DeepSeek-R1 模型，如 ollama run deepseek-r1:8b。
- 下载安装 Chatbox，打开 Chatbox，选择设置 ->Ollama API，选择已安装的 DeepSeek-R1 模型并保存。
使用 Open-WebUI ：先安装 Docker，再通过以下命令安装 Open-WebUI：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成后，访问http://localhost:3000，注册登录后选择对应的 DeepSeek 模型即可开始对话。