Ubuntu22.04安装CUDA Toolkit、cuDNN全流程

一、GPU、NVIDIA Graphics Drivers、CUDA、CUDA Toolkit和cuDNN的关系

    1.GPU：显卡。
    2.NVIDIA Graphics Drivers：显卡驱动。
    3.CUDA：一种由NVIDIA推出的通用并行计算架构，是一种并行计算平台和编程模型，该架构使GPU能够解决复杂的计算问题。在安装NVIDIA Graphics Drivers时，CUDA已经捆绑安装，无需另外安装。
    5.CUDA Toolkit：包含了CUDA的runtime API、CUDA代码的编译器nvcc（CUDA也有自己的语言，代码需要编译才能执行）和debug工具等。需要自己下载安装。
    6.cuDNN：基于CUDA Toolkit，专门针对深度神经网络中的基础操作而设计基于GPU的加速库。需要自己下载安装。

二、安装CUDA Toolkit

1.查询已安装显卡驱动版本

nvidia-smi

2.查询需要下载的对应CUDA Toolkit版本

https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

3.下载对应版本

https://developer.nvidia.com/cuda-toolkit-archive

    打开终端执行以下代码：

wget https://developer.download.nvidia.com/compute/cuda/12.5.1/local_installers/cuda_12.5.1_555.42.06_linux.run

4.开始安装：

sudo sh cuda_12.5.1_555.42.06_linux.run

由于我安装了显卡驱动，所以不选择第一个Driver，同时Kernel也不选择。

安装结果如下：

随后添加环境变量：

echo "export LD_LIBRARY_PATH="/usr/local/cuda/lib64:\$LD_LIBRARY_PATH"" >> ~/.bashrc 
echo "export PATH="/usr/local/cuda/bin:\$PATH"" >> ~/.bashrc 

检验安装结果：

nvcc -V

三、切换CUDA Toolkit版本

输入以下代码查看cuda的软链接

ls -l /usr/local/

可以看到现在的cuda是链接到了我刚刚安装的cuda-12.5。

一台设备可以安装不同的CUDA Toolkit版本，想要切换版本，只需要改变这个软链接。

ls -snf /usr/local/cuda-*****/ /usr/local/cuda

将其中星号换为自己的版本即可。

四、卸载CUDA Toolkit

sudo /usr/local/cuda-*****/bin/cuda-uninstaller

将其中星号换为自己的版本即可。

五、安装Pyortch

打开pytorch的官网，输入对应自己设备环境的pytorch安装指令即可。

https://pytorch.org/get-started/locally/

着重注意刚刚安装的显卡驱动的可支持CUDA的最高版本，我们选择的pytorch的CUDA版本要低于显卡驱动的可支持CUDA的最高版本。

同时，需要注意：Latest PyTorch requires Python 3.9 or later。

因此在conda中创建虚拟环境时要指定python版本：

conda create -n ****** python=3.10

其中******为虚拟环境的名字。

接下来激活虚拟环境，在其中执行以下代码即可：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

漫长的下载过程......

输入以下代码查看安装结果：

conda list

到这里便安装成功啦！

六、安装cuDNN

进入官网选择合适的版本（需注意已安装的CUDA版本）

https://developer.nvidia.com/rdp/cudnn-archive

首先安装依赖项：

sudo apt-get install zlib1g

在下载好的tar.xz文件夹中执行以下代码：

tar -xvf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz

文件解压后执行以下代码：

sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include 
sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64 
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

如此便完成了cuDNN的安装。

可以通过如下方式检验是否安装成功：

/usr/local/cuda/extras/demo_suite/deviceQuery

/usr/local/cuda/extras/demo_suite/bandwidthTest