linux多 GPU 环境部署 DeepSeek-R1 模型

配置多 GPU 环境以部署 DeepSeek-R1 模型的详细步骤，包括具体修改文件的位置和内容：

环境准备

1. 安装 NVIDIA 驱动程序：

   • 前往 NVIDIA 官方网站下载适合你 GPU 的最新驱动程序。

   • 安装驱动程序后，可以通过命令行输入 nvidia-smi 来验证驱动程序是否安装成功。

2. 安装 CUDA Toolkit：

   • 根据你的 GPU 驱动程序版本，选择合适的 CUDA Toolkit 版本。例如，如果驱动程序版本是 450.80.02，可以安装 CUDA 11.0。

   • 下载并安装 CUDA Toolkit。安装过程中，确保选择正确的安装路径和组件。

3. 安装 cuDNN：

   • 下载与 CUDA Toolkit 版本相匹配的 cuDNN。例如，CUDA 11.0 对应的 cuDNN 版本是 8.9.7。

   • 解压 cuDNN 文件，并将 bin、include 和 lib64 文件夹复制到 CUDA Toolkit 的安装路径下。

4. 配置环境变量：

   • 设置 CUDA_HOME 环境变量，指向 CUDA Toolkit 的安装路径。例如：

     bash复制

     export CUDA_HOME=/usr/local/cuda

   • 将 CUDA 的 bin 目录添加到 PATH 环境变量中：

     bash复制

     export PATH=$CUDA_HOME/bin:$PATH

   • 将 CUDA 的库目录添加到 LD_LIBRARY_PATH 环境变量中：

     bash复制

     export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

配置 Ollama 服务

1. 安装 Ollama 推理框架：

   • 下载并安装 Ollama。访问 Ollama 官方网站 Download Ollama on macOS 下载适用于你的操作系统的版本。

   • 使用以下命令安装 Ollama：

     bash复制

     curl -fsSL https://ollama.com/install.sh | sudo sh

2. 配置 Ollama 服务文件：

   • 打开 Ollama 服务配置文件：

     bash复制

     sudo nano /etc/systemd/system/ollama.service

   • 在 [Service] 部分添加以下内容，以指定使用的 GPU 和其他环境变量：

     ini复制

     Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
     Environment="OLLAMA_HOST=0.0.0.0"
     Environment="OLLAMA_ORIGINS=*"

     如果只有一块 GPU，则设置为 export CUDA_VISIBLE_DEVICES=0。

3. 刷新服务配置：

   • 刷新服务配置并重启 Ollama 服务：

     bash复制

     sudo systemctl daemon-reload
     sudo systemctl restart ollama

部署 DeepSeek-R1 模型

1. 拉取 DeepSeek-R1 模型：

   • 打开终端或命令提示符，输入以下命令拉取 DeepSeek-R1 模型：

     bash复制

     ollama pull deepseek-r1

     该命令会从 Ollama 的官方模型库中拉取 DeepSeek-R1 模型，并下载到本地。

2. 运行模型：

   • 使用以下命令启动 DeepSeek-R1 模型：

     bash复制

     ollama run deepseek-r1