PyTorch 训练进程崩溃（如 NCCL 超时）后，GPU 显存仍然被占用问题

有时会遇到PyTorch训练崩溃后，通过nvidia-smi命令发现GPU显存仍被占用，但并没有发现占用显存的进程，这时可以通过下面的命令来查看哪些进程正在使用GPU

sudo fuser -v /dev/nvidia*     

如果想要杀掉全部的进程可以用该命令

sudo kill -9 $(fuser /dev/nvidia* 2>/dev/null)

执行后输入nvidia-smi命令可以看到GPU中的显存已被全部释放。