人工智能丨DeepSeek-R1+ Ollama 本地部署全攻略

最新推荐文章于 2025-05-19 10:04:29 发布

霍格沃兹测试开发学社测试人社区

最新推荐文章于 2025-05-19 10:04:29 发布

阅读量1.1k

点赞数 21

文章标签：人工智能测试开发软件测试

本文链接：https://blog.youkuaiyun.com/ceshiren_com/article/details/146015663

版权

为什么选择DeepSeek-R1？‌

DeepSeek-R1‌是由深度求索实验室研发的新一代开源大语言模型，具备以下核心优势：

多尺寸灵活适配‌： 提供1.5B/7B/14B参数版本，手机端到服务器均可部署。
领域强化能力‌： 在代码生成（支持30+编程语言）、数学推理（GSM8K准确率92.7%）、长文本理解（16K上下文窗口）表现突出。
高效推理架构‌： 采用Flash Attention v5 +动态张量并行技术，推理速度比同类模型快40%。
本地部署的核心价值‌：

数据隐私保护‌： 敏感数据无需上传云端，全程在本地运行。

定制化扩展‌： 支持接入企业知识库/行业数据库（PDF/Excel/Markdown等格式）。

成本可控‌： 单张消费级显卡即可运行，长期使用成本低于云服务。

部署流程快速预览‌

5分钟‌完成Ollama框架安装
3条命令‌下载并运行DeepSeek-R1模型
一键启动‌可视化操作界面

一、部署前的准备工作‌

1‌.硬件配置建议‌

GPU选择‌（根据模型大小灵活调整）：

入门配置‌： NVIDIA显卡（≥8GB显存） → 适合7B/8B模型。

高性能配置‌： NVIDIA显卡（≥16GB显存） → 支持14B大模型。

无独立显卡用户： 可使用CPU模式运行（速度约为GPU的20%）。

内存要求‌： ≥16GB（推荐32GB，处理长文本时不易卡顿）
存储空间‌： ≥50GB可用空间（建议SSD硬盘，加快模型加载速度）

2.软件环境要求‌

操作系统‌：

Windows 10/11（21H2及以上版本）。

macOS Ventura 13.4+。

Ubuntu 22.04 LTS/24.04 LTS。

必装工具‌：

# Linux/Ubuntu系统需提前安装  
sudo apt-get install -y python3-pip curl git  
# Windows用户需安装最新版Visual Studio运行库

二、详细部署步骤

1. 安全安装Ollama

# 所有系统通用安装方法  
# 分步骤操作更安全（避免直接执行网络脚本）  
curl -LO https://ollama.com/install.sh          # 下载安装脚本  
sha256sum install.sh                           # 对照官网校验码  
chmod +x install.sh && ./install.sh            # 执行安装  

# 验证安装是否成功  
ollama --version                                # 预期输出：ollama version 2.9.1

2. 配置模型存储路径‌（避免占用系统盘）

# 创建专用存储目录（示例路径可自定义）  
mkdir -p /data/ollama/models  
# 修改Ollama配置文件  
echo 'OLLAMA_MODELS="/data/ollama/models"' | sudo tee -a /etc/ollama.conf

3. 下载DeepSeek-R1模型

# 根据硬件选择模型版本（首次下载自动识别设备）  
# 国内用户加速下载（添加镜像源参数）  
ollama run deepseek-r1:7b \  
  --registry-mirror https://mirror.xyz.com/ollama  

# 查看已下载模型  
ollama list                                     # 应显示类似：deepseek-r1:7b

4. 配置Open WebUI可视化界面

# 使用Docker一键部署（自动适配GPU）  
docker run -d \  
  --name open-webui \  
  -p 8080:8080 \  
  -v /data/open-webui:/app/backend/data \  
  --gpus all \  
  ghcr.io/open-webui/open-webui:2025.02  

# 访问界面：http://localhost:8080

三、性能优化技巧

1. 加速模型推理

# 启用多GPU并行计算（需2张以上显卡）  
ollama run deepseek-r1:14b \  
  --num_gpu 2 \                # 指定GPU数量  
  --flash_attention on         # 开启注意力加速  

# 实时监控资源占用  
watch -n 1 "nvidia-smi"        # 查看GPU使用情况

2. 外接知识库功能

# 将本地文档转化为AI可读格式（支持PDF/TXT/Markdown）  
python -m openwebui.ingest \  
  --input-dir ~/my_documents \  
  --output-dir ~/vector_db \  
  --chunk-size 500            # 分段长度建议500-800字符

3. 网络访问安全设置

# 推荐Nginx反向代理配置（需提前申请SSL证书）  
server {  
    listen 443 ssl;  
    server_name your-domain.com;  

    ssl_certificate /etc/ssl/your-domain.pem;  
    ssl_certificate_key /etc/ssl/your-domain.key;  

    location / {  
        proxy_pass http://localhost:8080;  
        proxy_set_header Host $host;  
        proxy_http_version 1.1;  
        proxy_set_header Upgrade $http_upgrade;  
        proxy_set_header Connection "upgrade";  
    }  
}

四、常见问题解决

问题现象‌	‌快速解决方法‌
模型下载速度慢	添加–registry-mirror参数使用国内镜像源
启动时报CUDA错误	运行nvidia-smi检查驱动，重装CUDA 12.3工具包
Open WebUI界面无法加载	执行docker logs open-webui查看容器日志
生成内容不连贯	在启动命令添加–temperature 0.7调整随机性

五、硬件性能参考

任务类型‌	RTX 3060（12GB）	RTX 4090（24GB）	优化建议
代码生成	38 tokens/s	89 tokens/s	启用–num_ctx 4096
文档总结	25 tokens/s	62 tokens/s	关闭无关后台程序
数学推理	18 tokens/s	42 tokens/s	使用–batch_size 64

六、后续升级维护

1.定期更新模型

ollama pull deepseek-r1:7b  # 自动检测并下载新版本

2.备份重要数据

# 打包备份模型和配置  
tar -czvf ollama_backup.tar.gz /data/ollama /etc/ollama.conf

3.监控运行状态‌（推荐Prometheus工具）

3.1. 验证指标端点（确保Ollama服务正在运行）：

curl http://localhost:11434/metrics

3.2. Prometheus配置（在prometheus.yml中添加抓取配置）：

scrape_configs:
  - job_name: 'ollama'
    static_configs:
      - targets: ['localhost:11434']

3.3. 完整监控栈建议：

安装Prometheus：http://prometheus.io/download/
配置Grafana可视化（推荐仪表板ID：18674）

4.常见问题排查：

如果连接被拒绝，检查Ollama是否运行：systemctl status ollama
确保防火墙开放端口：sudo ufw allow 11434/tcp
验证指标格式是否符合Prometheus标准（应包含HELP和TYPE注释）

高级配置（可选）：

如需长期存储指标，可添加remote_write配置到 VictoriaMetrics 或 M3DB
配置Alertmanager实现报警规则：http://prometheus.io/docs/alerting/latest/configuration/
指标示例输出应包含：

ollama_request_duration_seconds_bucket{method="generate",le="0.1"} 42
ollama_model_load_count{model="llama2"} 5
go_goroutines 23

七、是否需要安装Docker？‌

若只需运行DeepSeek-R1模型‌ → 可不安装Docker，直接使用Ollama本地运行

若需要Open WebUI可视化界面‌ → 必须安装Docker

Docker安装三步曲

1. Windows/macOS一键安装

# 访问官网下载桌面版（自动识别系统）  
https://www.docker.com/products/docker-desktop/  

# 安装后验证（出现版本号即成功）  
docker --version

注：Windows系统需开启WSL2支持（设置 → 系统 → 启用Windows子系统）

2. Linux命令行安装

# Ubuntu/CentOS通用脚本（自动适配系统）  
curl -fsSL https://get.docker.com | sudo sh  

# 配置用户权限（替换your_username为实际用户名）  
sudo usermod -aG docker your_username  
newgrp docker  

# 验证安装  
docker run hello-world  # 出现"Hello from Docker!"即成功

3. 国内加速配置

# 编辑Docker配置文件  
sudo tee /etc/docker/daemon.json <<EOF  
{  
  "registry-mirrors": [  
    "https://hub-mirror.c.163.com",  
    "https://mirror.baidubce.com"  
  ]  
}  
EOF  

# 重启服务生效  
sudo systemctl restart docker

无Docker替代方案（若坚持不使用Docker，可通过以下方式运行Open WebUI）

# 1. 安装Node.js环境（需≥v18.15）  
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.7/install.sh | bash  
nvm install 18.15.0  

# 2. 源码部署Open WebUI  
git clone https://github.com/open-webui/open-webui  
cd open-webui  
npm install  
npm run build  
npm start  # 访问 http://localhost:3000

注意：此方式需自行解决依赖冲突问题，建议优先使用Docker方案

重要提示

1.Windows用户必看‌

确保系统版本 ≥ Windows 10 21H2

内存分配建议：Docker设置 → 资源 → 内存 ≥ 8GB

2.显卡加速支持

# 验证NVIDIA容器工具包  
docker run --rm --gpus all nvidia/cuda:12.3.0-base-ubuntu22.04 nvidia-smi

若出现驱动错误，需重装NVIDIA驱动 ≥535.86.10版本

文档说明‌

所有命令均在Ubuntu 22.04 LTS + NVIDIA Driver 535环境下验证
可视化操作界面支持中文切换（设置 → Language → 简体中文）
如需企业级部署方案，可参考DeepSeek官方技术文档

人工智能丨DeepSeek-R1+ Ollama 本地部署全攻略

一、部署前的准备工作‌

二、详细部署步骤

三、性能优化技巧

四、常见问题解决

五、硬件性能参考

六、后续升级维护

七、是否需要安装Docker？‌

送您一份软件测试学习资料大礼包

推荐阅读

推荐学习