查看gpu使用情况并且查看是那个用户在使用gpu【gpustat】

本文介绍在Linux环境下使用tmux进行shell分屏操作的方法,以及利用gpustat命令实时监控GPU使用情况的技巧。相较于传统的nvidia-smi,gpustat提供更简洁清晰的GPU状态展示,并能具体显示占用GPU的用户或进程。
部署运行你感兴趣的模型镜像

最近看了师兄的显示屏,get到了两个好棒的功能,一个是linux的shell分屏,一个是实时显示gpu的状态和使用情况。

分屏指令:tmux

这个指令有好多介绍了,就不详细赘述,

https://www.cnblogs.com/kevingrace/p/6496899.html

gpu使用情况:gpustat

https://github.com/wookayin/gpustat

详细介绍看这个github上的。相比于网上千篇一律的:nvidia-smi, gpustat这个指令显得十分简洁,而且非常清晰,还能看是哪个用户或者进程在使用gpu。百度了半天没有发现有人说看gpu状态可以用这个指令,最后google才找到。

效果如下:

 

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰(StepFun)与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量,支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是,它可以生成多种语言的歌曲,包括但不限于中文、英文、日文等19种语言

### 如何监控 GPU 使用情况查看哪个进程或用户正在使用 GPU 在 Ubuntu 系统中,可以使用 `nvidia-smi` 和其他工具来实时监控 GPU使用情况并且可以进一步查找哪些进程或用户正在占用 GPU。以下是详细的说明和方法。 #### 1. 实时查看 GPU 使用情况 通过命令 `nvidia-smi` 可以获取当前 GPU使用状态,包括显存占用、GPU 利用率等信息。为了实现动态刷新,可以结合 `watch` 命令定期执行 `nvidia-smi`[^1]。 ```bash watch -n 5 nvidia-smi ``` 上述命令会每 5 秒刷新一次 GPU使用情况。如果需要更频繁的更新,可以将 `-n` 参数值设置为更小的数字(例如 1 秒)。 #### 2. 查看哪些进程正在使用 GPU `nvidia-smi` 的输出中包含了一个“Processes”部,该部列出了所有正在使用 GPU 的进程及其相关信息,例如进程 ID (PID)、显存占用量等[^1]。 可以通过以下命令单独提取这些信息: ```bash nvidia-smi pmon -c 1 ``` 此命令会列出当前正在运行的所有 GPU 进程,并显示其详细信息,包括 PID、用户名、GPU ID 和显存占用等。 #### 3. 查找进程对应的用户 一旦获得了进程的 PID,可以使用 `ps` 命令查找该进程所属的用户。例如,假设某个进程的 PID 是 12345,则可以运行以下命令: ```bash ps -o user= -p 12345 ``` 这将返回该进程所属的用户名。 #### 4. 结束占用 GPU 的进程 如果需要终止某个占用 GPU 的进程,可以使用 `kill` 命令。例如,要强制终止 PID 为 12345 的进程,可以运行以下命令: ```bash kill -9 12345 ``` 此外,还可以通过脚本批量杀死所有占用 GPU 的进程。例如,以下命令会杀死所有显存占用超过 100 MB 的进程[^2]: ```bash sudo kill -9 $(nvidia-smi | awk '$2 == "GPU" && $3 == "PID" {flag = 1} flag && $3 > 0 {print $2, $3}' | awk '$1 < 4 && $2 > 1000 {print $2}') ``` #### 5. 使用 `gpustat` 工具 除了 `nvidia-smi`,还可以安装第三方工具 `gpustat` 来更简洁地查看 GPU 使用情况。安装方法如下: ```bash pip install gpustat ``` 运行以下命令即可查看 GPU使用情况以及相关进程信息: ```bash gpustat -cp ``` 此命令会显示每个 GPU使用率、显存占用情况以及对应的进程和用户信息。 --- ###
评论 17
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值