[服务器运维] gpu幽灵进程处理

参考资料

• https://jishuzhan.net/article/1789000218730041345
• https://blog.youkuaiyun.com/kybabcde/article/details/135238913

这种情况通常是由于所谓的"僵尸进程"引起的。僵尸进程是指那些已经完成任务但没有正确关闭的进程，它们可能因为各种原因未能释放占用的GPU资源。这会导致资源浪费，并且阻碍其他任务的执行。（搬运）

nvitop命令查看幽灵进程占用的显存

但是有时候这些PID是主进程，已经kill不了了。

fuser命令查看仍然占用资源的进程

输入命令 fuser -v /dev/nvidia* 查看当前占用GPU资源的进程。

有些服务器可能需要sudo权限才能使用。

然后就把这个nvidia下面的进程kill掉就行。