本地基于ktrnsformer部署deepseek671b满血版教程

1. 环境准备

说明：我的系统是ubuntu22.04系统，下面教程中的命令都是基于ubuntu系统的命令。

1.1 CUDA环境准备

说明：使用ktransformer运行deepseek需要CUDA12.1及以上版本

1.1.1 确认GPU驱动

查看GPU驱动是否支持12.1版本的CUDA（命令：nvidia-smi），如果不支持，则更新GPU驱动，详细操作如下（注意，我用的是CUDA12.4对应的驱动，请根据自己的CUDA版本选择对应的驱动）

1. 检查当前 NVIDIA 驱动版本

• 运行 nvidia-smi 查看当前的驱动版本（例如 545.23.06）。
• 确保你的 NVIDIA 驱动支持 CUDA 12.4。你可以参考 NVIDIA 官方文档 来确认驱动版本是否兼容 CUDA 12.4。
• 如果驱动版本不兼容，需要先升级 NVIDIA 驱动。

2. 升级 NVIDIA 驱动（如果需要）

• 访问 NVIDIA 驱动下载页面，选择适合你系统的驱动版本（支持 CUDA 12.4）。
• 下载并安装驱动。例如，在 Ubuntu 上可以使用以下命令：

sudo apt-get update
sudo apt-get install --no-install-recommends nvidia-driver-550  # 替换为适合的驱动版本

3. 安装完成后重启系统：

sudo reboot

1.1.2 确认CUDA版本

使用ktransformer运行deepseek需要CUDA12.1及以上版本，相见官方对CUDA版本的描述。

查看CUDA版本是否为12.1及以上版本（命令：nvidia-smi）。如果不满足，则安装12.1及以上版本的CUDA。可以从这里安装。下面是安装CUDA12.4的详细步骤：

1. 下载并安装 CUDA 12.4

• 访问 CUDA Toolkit 下载页面，选择适合你操作系统的 CUDA 12.4 安装包。
• 按照官方文档的说明进行安装。以下是一个通用的安装步骤（以 Ubuntu 为例）：
  
• 下载 CUDA 12.4 安装包：

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run

• 运行安装脚本：

sh cuda_12.4.0_550.54.14_linux.run

• 在安装过程中：
  – 选择 Install。
  – 如果提示是否安装 NVIDIA 驱动，选择 No（如果你已经安装了兼容的驱动）。
  – 确保勾选 CUDA Toolkit 和 CUDA Samples。

2. 设置环境变量

• 打开 ~/.bashrc 或 ~/.zshrc 文件，添加以下内容：

export PATH=/usr/local/cuda-12.4/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda-12.4

说明：如果将/usr/local/cuda-12.4链接到/usr/local/cuda后，将上述代码中的cuda-12.4修改为cuda
将/usr/local/cuda-12.4链接到/usr/local/cuda步骤相见2.1.1.3节

• 使更改生效：

source ~/.bashrc  # 或 source ~/.zshrc

3. 验证 CUDA 安装

• 运行以下命令检查 CUDA 版本：

nvcc --version

输出应显示 CUDA 12.4。

• 运行 nvidia-smi 确认驱动和 CUDA 版本：

nvidia-smi

输出中的 CUDA Version 应显示 12.4，如下图所示：