NVIDIA Container Toolkit 报错 Failed to initialize NVML: Unknown Error 的解决

报错

参考Installing the NVIDIA Container Toolkit 安装 NVIDIA Container Toolkit 在运行Sample Workload 时候会出现报错。
运行命令：

sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

出现报错

Failed to initialize NVML: Unknown Error

解决

参考Failed to initialize NVML: Unknown Error - Even after reading the pinned issue #381可以通过降低 NVIDIA Container Toolkit 的版本解决 bug。依次运行以下命令实现降级；

sudo apt remove --purge nvidia-container-toolkit

sudo apt update

sudo apt autoremove

sudo apt list -a "*nvidia-container-toolkit*"

sudo apt install nvidia-container-toolkit=1.14.0-1 nvidia-container-toolkit-base=1.14.0-1

即可解决