服务器上配置CUDA、cuDNN、Anaconda和Python环境的完整过程

本文链接：https://blog.youkuaiyun.com/cscji/article/details/147684059

在深度学习和科学计算领域，正确配置GPU加速环境对于提高计算效率至关重要。我记录了在服务器上配置CUDA、cuDNN、Anaconda以及相应的Python环境的过程。

一、准备工作

在开始安装前，需要确认服务器的基本配置：

确认服务器上安装了NVIDIA GPU
检查GPU驱动是否已安装
确认服务器操作系统版本

检查GPU和驱动

nvidia-smi

如果显示GPU信息，说明驱动已正确安装。如果没有，需要先安装NVIDIA驱动。

二、安装CUDA

CUDA是NVIDIA推出的并行计算平台和编程模型，是深度学习框架使用GPU加速的基础。

1. 下载CUDA安装包

访问NVIDIA官方网站下载适合你系统的CUDA版本。以CUDA 11.7为例：

wget https://developer.download.nvidia.com/compute/cuda/11.7.0/local_installers/cuda_11.7.0_515.43.04_linux.run

2. 安装CUDA

sudo sh cuda_11.7.0_515.43.04_linux.run

安装过程中：

接受许可协议
如果已安装驱动，可以取消选择驱动安装
选择安装CUDA Toolkit和相关组件

3. 配置环境变量

编辑~/.bashrc文件：

nano ~/.bashrc

添加以下内容：

export PATH=/usr/local/cuda-11.7/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.7/lib64:$LD_LIBRARY_PATH

使环境变量生效：

source ~/.bashrc

4. 验证CUDA安装

nvcc --version

如果显示CUDA版本信息，说明安装成功。

三、安装cuDNN

cuDNN是NVIDIA开发的深度神经网络库，可以加速深度学习框架的计算。

1. 下载cuDNN

访问NVIDIA cuDNN页面下载与CUDA版本兼容的cuDNN（需要注册NVIDIA开发者账号）。

2. 解压并安装cuDNN

tar -xzvf cudnn-linux-x86_64-8.x.x.x_cudaX.Y-archive.tar.xz
sudo cp cudnn-linux-x86_64-8.x.x.x_cudaX.Y-archive/include/cudnn*.h /usr/local/cuda-11.7/include
sudo cp cudnn-linux-x86_64-8.x.x.x_cudaX.Y-archive/lib/libcudnn* /usr/local/cuda-11.7/lib64
sudo chmod a+r /usr/local/cuda-11.7/include/cudnn*.h /usr/local/cuda-11.7/lib64/libcudnn*

3. 验证cuDNN安装

cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

四、安装Anaconda

Anaconda是一个开源的Python发行版，包含了conda、Python等180多个科学包及其依赖项。

官网下载地址：https://repo.anaconda.com/archive/

下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

1. 下载Anaconda安装包

wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh

2. 安装Anaconda

bash Anaconda3-2023.07-2-Linux-x86_64.sh

按照提示完成安装：

接受许可协议
确认安装位置
是否初始化Anaconda（建议选择"yes"）

3. 激活Anaconda

source ~/.bashrc

4. 验证Anaconda安装

conda --version

五、创建并配置Python环境

使用Anaconda可以轻松创建和管理不同的Python环境。

1. 创建新的Python环境

conda create -n deeplearning python=3.9

2. 激活环境

conda activate deeplearning

六、安装PyTorch

PyTorch是一个开源的深度学习框架，提供了强大的GPU加速功能。以下是几种安装PyTorch的方法：

1. 使用conda安装PyTorch（推荐）

根据你的CUDA版本选择合适的PyTorch版本。以CUDA 11.7为例：

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

如果你想安装特定版本的PyTorch，可以指定版本号：

conda install pytorch=1.13.1 torchvision=0.14.1 torchaudio=0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia

2. 使用pip安装PyTorch

也可以使用pip安装PyTorch：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

3. 从源码编译安装（高级用户）

如果需要自定义PyTorch功能或针对特定硬件优化，可以从源码编译安装：

# 克隆PyTorch仓库
git clone --recursive https://github.com/pytorch/pytorch
cd pytorch

# 设置环境变量
export CMAKE_PREFIX_PATH=${CONDA_PREFIX:-"$(dirname $(which conda))/../"}
export CUDA_HOME=/usr/local/cuda-11.7

# 安装依赖
conda install -y astunparse numpy ninja pyyaml setuptools cmake cffi typing_extensions future six requests dataclasses

# 编译安装
python setup.py install

4. 验证PyTorch安装

在Python环境中运行以下代码验证PyTorch是否正确安装并能够使用GPU：

import torch
print("PyTorch版本:", torch.__version__)
print("CUDA是否可用:", torch.cuda.is_available())
print("CUDA版本:", torch.version.cuda)
print("cuDNN版本:", torch.backends.cudnn.version())
print("GPU数量:", torch.cuda.device_count())
print("当前GPU:", torch.cuda.current_device())
print("GPU名称:", torch.cuda.get_device_name(0))

如果输出显示CUDA可用，并且能够正确显示GPU信息，说明PyTorch已成功安装并支持GPU加速。

5. 安装常用的PyTorch相关库

# 安装常用的数据处理和可视化库
conda install pandas matplotlib scikit-learn jupyter

# 安装其他PyTorch生态系统工具
pip install pytorch-lightning
pip install transformers
pip install timm  # 计算机视觉模型库

七、安装其他深度学习框架（可选）

安装TensorFlow

conda install -c conda-forge tensorflow-gpu

验证TensorFlow GPU支持：

import tensorflow as tf
print("TensorFlow版本:", tf.__version__)
print("GPU是否可用:", tf.config.list_physical_devices('GPU'))

八、常见问题及解决方案

1. CUDA版本与深度学习框架不兼容

确保安装的CUDA、cuDNN版本与深度学习框架兼容。可以参考框架官方文档中的版本兼容性说明。

2. 环境变量配置错误

检查~/.bashrc文件中的环境变量配置是否正确，路径是否对应实际安装位置。

3. 多个CUDA版本共存

如果需要在服务器上安装多个CUDA版本，可以通过环境变量控制使用哪个版本：

export CUDA_HOME=/usr/local/cuda-X.Y
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

4. 内存不足

深度学习模型训练可能需要大量GPU内存，可以通过以下方法解决：

减小批量大小(batch size)
使用混合精度训练
实现梯度累积
使用模型并行或数据并行

5. PyTorch安装后无法识别GPU

如果PyTorch安装后无法识别GPU，可能的原因包括：

CUDA版本与PyTorch不兼容
环境变量设置错误
GPU驱动版本过低

解决方法：

# 检查CUDA是否正确安装
nvcc --version

# 确保安装了与CUDA版本兼容的PyTorch
# 例如，对于CUDA 11.7，使用以下命令重新安装PyTorch
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

# 检查环境变量
echo $PATH | grep cuda
echo $LD_LIBRARY_PATH | grep cuda