Ollama+ dify 部署deepseek-r1

• 操作系统: Ubuntu 22.04.4 LTS

环境配置

1. 系统依赖

更新系统

sudo apt update && sudo apt upgrade -y

安装基础工具

sudo apt install -y build-essential git wget curl python3-pip python3-venv

2. NVIDIA 驱动和 CUDA

2.1 安装 NVIDIA 驱动

# 查看推荐驱动版本
ubuntu-drivers devices

# 自动安装推荐驱动（或手动指定版本）
sudo ubuntu-drivers autoinstall

# 安装指定版本驱动（如 550 版本）
sudo apt install nvidia-driver-550#本次选用

# 重启后验证
nvidia-smi

2.2 安装 CUDA 11.8+ 和 cuDNN

CUDA官方安装

以 CUDA 12.1 为例：

# 下载 CUDA 12.1 安装包
wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run

# 安装 CUDA（按提示操作）
sudo sh cuda_12.1.0_530.30.02_linux.run

配置环境变量

生效的配置方式：

# 编辑环境变量配置文件
sudo nano /etc/profile.d/cuda.sh

# 添加以下内容：
export PATH=/usr/local/cuda-12.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH

# 使配置生效
source /etc/profile.d/cuda.sh

# 更新动态库链接
sudo ldconfig

# 验证 CUDA
nvcc --version

3. 安装 Conda 环境

3.1 下载并安装 Miniconda

# 下载 Miniconda 安装脚本（Python 3.10）
wget https://repo.anaconda.com/miniconda/Miniconda3-py310_23.11.0-2-Linux-x86_64.sh

# 运行安装脚本，按提示操作（安装路径建议默认）
bash Miniconda3-py310_23.11.0-2-Linux-x86_64.sh

# 激活 conda 环境
source ~/.bashrc

3.2 创建专用环境

conda create -n deepseek-ollama python=3.12 -y
conda activate deepseek-ollama

4. 安装 Ollama

4.1 通过官方脚本安装 Ollama

自动安装（失败时使用手动方式）

curl -fsSL https://ollama.com/install.sh | sh

手动分步安装

1. 下载安装脚本：

   curl -O https://ollama.com/install.sh
   chmod +x install.sh
   

2. 手动下载 Ollama Linux bundle：

   wget https://ollama.com/download/ollama-linux-amd64.gz
   

   或从 Ollama GitHub Releases 获取最新安装包。

3. 验证文件完整性（可选）：

   sha256sum ollama-linux-amd64.tar.gz
   

4. 解压文件并将可执行文件移动到系统路径：

   sudo tar -C /usr -xzf ollama-linux-amd64.tgz
   

5. 创建 Ollama 用户和组：

   sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
   sudo usermod -a -G ollama $(whoami)
   

6. 手动创建服务文件：

   sudo nano /etc/systemd/system/ollama.service
   

   内容如下：

   [Unit]
   Description=Ollama Service
   After=network.target
   
   [Service]
   ExecStart=/usr/local/bin/ollama/bin/ollama serve
   User=root
   Group=root
   Restart=always
   RestartSec=3
   Environment="CUDA_VISIBLE_DEVICES=0,1"#支持多GPU运行
   Environment="OLLAMA_SCHED_SPREAD=true"
   Environment="OLLAMA_HOST=0.0.0.0:11434"
   
   [Install]
   WantedBy=multi-user.target
   

4.2 验证 Ollama 安装

# 重新加载 systemd 配置
sudo systemctl daemon-reload

# 启用并启动 Ollama 服务
sudo systemctl enable ollama
sudo systemctl start ollama

# 查看服务状态
sudo systemctl status ollama

# 日志检查
journalctl -u ollama

# 测试基础命令
ollama --version

# 下载并运行模型（示例）
ollama run llama2:7b "Hello, world!"

5. 通过 Ollama 下载并运行模型

DeepSeek-r1-32b 模型

ollama run deepseek-r1:32b

安装词嵌入模型

ollama pull nomic-embed-text

6. Python 调用 Ollama API

安装 Python 依赖

pip install ollama requests

编写推理脚本 ollama_inference.py

import ollama

# 调试：打印所有模型信息
model_list = ollama.list()
print("当前模型列表:", model_list)

# 检查模型是否存在
target_model = "deepseek-r1:32b"
existing_models = [m["model"] for m in model_list.get("models", [])]

if target_model not in existing_models:
    print(f"正在下载模型 {target_model}...")
    ollama.pull(target_model)
else:
    print(f"模型 {target_model} 已存在")

# 生成文本
response = ollama.generate(
    model=target_model,
    prompt="请用Python写一个快速排序算法，并添加注释。",
    stream=False,
    options={"temperature": 0.7, "max_tokens": 500}
)

print("\n生成的代码：\n", response["response"])

运行脚本

python ollama_inference.py

7. 安装 Dify

7.1 安装 Docker

(1) 卸载旧版本的 Docker（如果已安装）

sudo apt-get remove docker docker-engine docker.io containerd runc

(2) 更新系统软件包

sudo apt update

(3) 安装 Docker 的依赖包

sudo apt install apt-transport-https ca-certificates curl software-properties-common -y

(4) 添加 Docker 的官方 GPG 密钥

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

(5) 添加 Docker 的 APT 存储库

echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

(6) 安装 Docker 引擎

sudo apt update
sudo apt install docker-ce docker-ce-cli containerd.io -y

(7) 启动 Docker 服务并设置为开机自启

sudo systemctl start docker
sudo systemctl enable docker

(8) 验证 Docker 是否安装成功

docker version

如果显示 Docker 版本信息，则安装成功。

---

7.2 安装 Docker Compose

(1) 下载并安装 Docker Compose

sudo curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

(2) 赋予执行权限

sudo chmod +x /usr/local/bin/docker-compose

(3) 验证 Docker Compose 是否安装成功

docker-compose version

确保版本号大于 2.24。

---

7.3 安装 Dify

(1) 克隆 Dify 源码

git clone https://github.com/langgenius/dify.git
cd dify/docker

(2) 复制环境配置文件

cp .env.example .env

(3) 启动 Dify 容器

docker compose up -d

(4) 检查容器是否正常运行

docker compose ps

如果所有容器状态正常，则 Dify 安装成功。

---

无法保存模型：修改.env，使用清华镜像源（v1.0.1版本，否则切回0.15.3版本）

取消该行注释：

配置国内镜像源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

7.4. 使用 Dify

在浏览器中访问 http://10.87.x.x/install并按照提示完成管理员初始化。

模型添加

使用deepseek官方模型：

• API 密钥：sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxx
• API 地址：https://api.deepseek.com/v1

本地部署模型

• deepseek-r1:32b

• deepseek-r1:70b

• nomic-embed-text

• Ollama 服务地址：

  • Mac 系统：http://host.docker.internal:11434
  • 服务器地址：http://10.87.x.x:11434/
    

---