从驱动到容器：在麒麟V10上玩转NVIDIA GPU全流程（含CUDA12.4+Pytorch2.4配置）-优快云博客

麒麟V10系统下NVIDIA GPU全栈部署实战：从驱动到vLLM大模型服务

最近在麒麟V10系统上折腾NVIDIA GPU环境，从驱动安装到容器化部署，再到vLLM大模型服务，踩了不少坑也积累了不少经验。这篇文章就来详细分享一下完整的配置流程，特别适合需要在国产化操作系统上部署AI服务的开发者。

1. 系统环境准备与NVIDIA驱动安装

麒麟V10基于Red Hat/CentOS体系，很多操作与RHEL系列类似，但也有一些特殊之处需要特别注意。

1.1 系统基础配置

首先确认系统版本和架构：

# 查看系统信息
cat /etc/os-release
uname -a

# 输出示例
NAME="Kylin Linux Advanced Server"
VERSION="V10 (Lance)"
ID="kylin"
VERSION_ID="V10"
Linux localhost 4.19.90-52.38.v2207.ky10.x86_64 #3 SMP Wed May 8 20:01:06 CST 2024 x86_64 x86_64 x86_64 GNU/Linux

注意：麒麟V10的内核版本通常为4.19.x，这个版本对NVIDIA驱动的兼容性较好，但建议使用官方认证的驱动版本。

1.2 禁用Nouveau驱动

这是安装NVIDIA驱动的关键步骤，处理不当会导致驱动安装失败或系统无法启动。

# 创建黑名单配置文件
echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf
echo "options nouveau modeset=0" >> /etc/modprobe.d/blacklist.conf

# 备份并重建initramfs
mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak
dracut -f /boot/initramfs-$(uname -r).img $(uname -r)

# 重启系统
reboot

# 验证nouveau是否被禁用
lsmod | grep nouveau
# 应该没有任何输出

1.3 安装NVIDIA驱动

麒麟V10的驱动安装有几种方式，这里推荐使用runfile方式，兼容性最好。

方法一：使用官方runfile安装

# 切换到文本模式（如果系统有图形界面）
init 3

# 给安装文件添加执行权限
chmod +x NVIDIA-Linux-x86_64-550.54.15.run

# 执行安装
./NVIDIA-Linux-x86_64-550.54.15.run --silent --dkms --no-opengl-files

# 验证安装
nvidia-smi

方法二：通过yum安装（如果系统仓库有）

# 添加ELRepo仓库（如果需要）
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
rpm -Uvh https://www.elrepo.org/elrepo-release-8.el8.elrepo.noarch.rpm

# 安装驱动
yum install kmod-nvidia nvidia-driver-latest-dkms

安装完成后，nvidia-smi应该显示类似以下信息：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.15    Driver Version: 550.54.15    CUDA Version: 12.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name             Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA A100-SXM...  On   | 00000000:25:00.0 Off |                    0 |
| N/A   31C    P0    62W / 400W |      0MiB / 81920MiB |      0%      Default |
|                               |                      |              Disabled |
+-------------------------------+----------------------+----------------------+

2. CUDA工具链配置

2.1 CUDA Toolkit安装

根据NVIDIA官方文档，麒麟V10被列为支持的操作系统。以下是CUDA 12.4的安装步骤：

# 下载CUDA安装包（选择runfile方式）
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.15_linux.run

# 安装CUDA Toolkit（不安装驱动）
sh cuda_12.4.0_550.54.15_linux.run --toolkit --silent --override

# 设置环境变量
echo 'export PATH=/usr/local/cuda-12.4/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
echo 'export CUDA_HOME=/usr/local/cuda-12.4' >> ~/.bashrc
source ~/.bashrc

# 验证安装
nvcc --version

2.2 cuDNN安装

cuDNN是深度神经网络加速库，需要单独安装：

# 下载cuDNN（需要NVIDIA开发者账号）
# 假设已经下载了cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz

# 解压并安装
tar -xvf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz
cd cudnn-linux-x86_64-8.9.7.29_cuda12-archive

# 复制文件到CUDA目录
sudo cp include/cudnn* /usr/local/cuda-12.4/include/
sudo cp lib/libcudnn* /usr/local/cuda-12.4/li