实时查看GPU运行状况

最新推荐文章于 2025-09-25 02:57:47 发布
原创 最新推荐文章于 2025-09-25 02:57:47 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

文章介绍了两种监控NVIDIAGPU使用情况的工具，分别是通过命令nvidia-smi配合watch-n1进行实时更新，以及使用gpustat工具，可以通过pipinstall安装。这两种方法都能帮助用户有效监控GPU的状态和性能。
部署运行你感兴趣的模型镜像

方法1: nvidia-smi

watch -n 1 nvidia-smi    #带更新

方法2: gpustat

pip install gpustat
watch -n 1 gpustat

您可能感兴趣的与本文相关的镜像

Wan2.2-I2V-A14B

Wan2.2-I2V-A14B

图生视频
Wan2.2

Wan2.2是由通义万相开源高效文本到视频生成模型，是有​50亿参数的轻量级视频生成模型，专为快速内容创作优化。支持480P视频生成，具备优秀的时序连贯性和运动推理能力

ubuntu下实时查看GPU使用情况的两种方式（nvidia-smi、gpustat）及结束占用GPU进程的命令
zeeq的博客
07-21 12万+
要查看gpu占用，这里介绍两个方法，一个是官方的nvidia-smi，装完显卡驱动就能使用了；另一个是gpustat，更方便于查看gpu使用情况。
GPU性能实时监测的实用工具
热门推荐
weixin_43178406的博客
12-25 5万+
本文主要介绍了GPU性能实时监测的实用工具，希望能对使用GPU的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
电脑GPU/CPU资源查看及使用
wqy1837154675的博客
08-28 2930
电脑GPU/CPU资源查看及使用 import torch ''' 1. 服务器GPU状态查询 1） lspci | grep -i nvidia 可以查询所有nvidia显卡 2） lspci -v -s [显卡编号] 可以查看显卡具体属性 3） nvidia-smi 可以查看显卡的显存利用率 2. torch.cuda主要函数 1) 查看是否有可用GPU、可用GPU数量： torch.cuda.is_available(), torch.cuda.device_
5分钟上手tiny-gpu调试：实时监控GPU状态的终极指南
最新发布
gitblog_00805的博客
09-25 562
你是否在调试GPU时苦于无法实时观察内部状态？是否想知道线程调度、指令执行的底层细节？本文将带你通过tiny-gpu的调试接口，从零开始搭建GPU状态监控系统，让你像调试CPU一样轻松掌控GPU运行流程。 读完本文你将获得： - 理解tiny-gpu调试接口的核心设计 - 掌握3种实时监控GPU状态的方法 - 学会分析线程执行轨迹与内存访问模式 - 获得调试工具链搭建的完整步骤 ## 调试接口...
UE4 C++ 源码分析stat GPU
weixin_44200074的博客
07-26 1835
分析stat gpu 数据计算
实时查看GPU显存占用、功耗、进程状态
百年孤独百年的博客
10-16 3万+
当运行深度学习命令时，我们总想查看GPU占用了多少显存，以便及时调整模型的参数。我之前总是’nvidia-smi’，然后一直↑+enter，一直盯着屏幕看显存占用情况。后来感觉太麻烦了，还要一直手动点击，真是费劲。现在我推荐使用以下两种方法查看显存占用情况。
【技巧】实时监控GPU运行状态
xfxuezhang.cn
11-26 6717
非常好用的GPU监控工具
Linux/Ubuntu 监视，实时查看GPU，CPU和内存使用情况
亲亲Friends的博客
11-20 9573
注意 本文方案仅适用于NVIDIA显卡，对于Intel显卡和AMD显卡本文暂不做讨论。毕竟NVIDIA的显卡才是训练神经网络的大众之选。 方案1 使用nvidia-smi命令，输出为： 如果想要不间断持续刷新GPU的状态，使用： nvidia-smi -l seconds nvidia-smi --loop=seconds 上述命令任选其一，注意把seconds换成你想刷新的时间间隔（秒）。命令运行的效果就是持续输出上图中的内容（注意不是在原有输出上进行刷新，而是持续输出新的信息）。按Ctrl+C停止刷
Intel GPU 运行 ollama
11-24
Intel GPU 运行 ollama 技术指南主要介绍了如何在基于 Intel 硬件平台的系统上使用 Open WebUI 运行 ollama。文档中涉及了安装指南、已验证的硬件列表，以及运行 Ollama 时相关的法律声明和授权信息。 首先，文档...
实时显示GPU的两种方法（灵机一动）
风信子的猫Redamancy的快乐星球
12-02 5080
最近在跑程序的时候，我在想能不能实时显示我的GPU，而不是每次都在命令行输入一个nvidia-smi，虽然也能看到我们的GPU显存和GPU利用率，但是我想看到变化之类的，所以想了两个方法
【深度学习基础】Windows实时查看GPU显存占用、功耗、进程状态
weixin_41838721的博客
12-18 2110
python环境下，实时查看GPU显存占用、功耗、进程状态。
Python-gpustat一个简单的命令行工具用于查询和监视GPU状态
08-10
Python-gpustat一个简单的命令行工具用于查询和监视GPU状态
Ubuntu16.04下实时显示GPU使用情况
Felaim的博客
09-29 1806
在做工程时，通常需要开启不同的任务，有时又会关闭旧任务，来开辟新任务，所以需要实时检测GPU的使用情况。 1输出当前GPU使用情况 nvidia-smi 上面那条指令肯定都熟悉了，一旦输出不些啥，心就有点凉了/(ㄒoㄒ)/~~ 2.周期性输出GPU的使用情况 可以通过watch来进行检测，首先看下watch是个啥？ 然后我们可以通过下面的语句，对GPU的使用进行实时的检测 watch -n 0...
如何查看GPU显卡实时运行情况
Ven%的博客
11-19 2004
nvitop是一个用于监控 NVIDIA GPU 使用情况的命令行工具，类似于 Linux 上的top命令，但专门用于展示 GPU 相关的性能数据。它提供了有关 GPU 资源利用率、内存使用、温度等信息，非常适合开发者和数据科学家在深度学习训练时实时监控 GPU 状态。
GPU性能实时监控的几种软件
★ James Liu @ 优快云
05-13 9060
四款GPU性能监控工具软件
2021-04-18：怎么实时查看GPU状态
weixin_44465329的博客
04-18 798
跑深度学习模型的时候怎么实时查看GPU状态 windows中 在CMD中，输入nvidia-smi -l 2 #每2秒刷新一次 Linux中 在终端中，输入watch -n 2 nvidia-smi #每2秒刷新一次
watch和nvidia-smi命令实时查看GPU使用、显存占用情况
qq_43776757的博客
08-13 1万+
方法一：watch -n 0.5 nvidia-smi watch -n 0.5 nvidia-smi：0.5代表每隔0.5秒刷新一次GPU使用情况，同理，每隔1秒刷新，则使用：watch -n 1 nvidia-smi 方法二：nvidia-smi -l 1，每1秒刷新一次， 不建议使用watch查看nvidia-smi，watch每个时间周期开启一个进程(PID)，查看后关闭进程，会影响cuda操作，如cudaMalloc；建议使用nvidia-smi -l x或者nvidia-smi --loo
nvidia-smi命令实时查看GPU使用、显存占用情况
qq_34124456的博客
07-18 2819
每1秒刷新一次。
实时查看gpu运行情况
03-26
### 实时监控 GPU 使用率和运行状态的方法 为了实时监控 NVIDIA GPU 的使用率和运行状态，有多种方法可供选择。以下是几种常见的解决方案及其特点： #### 方法一：使用 `nvidia-smi` 命令 `nvidia-smi` 是 NVIDIA 提供的一个命令行工具，可以直接查询 GPU 的各项性能指标，包括显存使用量、GPU 利用率、温度等[^3]。 可以通过以下命令获取基本信息： ```bash nvidia-smi ``` 该命令会返回当前系统的 GPU 数量、每张卡的显存使用情况、GPU 占用率以及其他硬件信息。 如果需要定期刷新数据，可以加上 `-l` 参数设置轮询间隔时间（秒），例如每隔 2 秒更新一次： ```bash nvidia-smi -l 2 ``` --- #### 方法二：使用第三方工具 `nvtop` `nvtop` 是一个类似于 `htop` 的可视化工具，能够以动态图形化界面的形式展示 GPU 的多项性能指标，如温度、显存使用、GPU 使用率等[^2]。 安装方式如下（以 Ubuntu 系统为例）： ```bash sudo apt install nvtop ``` 启动后即可进入交互式的 GPU 监控界面。 --- #### 方法三：利用 PyNVML 库编写自定义脚本 PyNVML 是 NVIDIA Management Library (NVML) 的 Python 封装库，允许开发者通过编程的方式访问 GPU 的各种状态信息。下面是一个简单的示例代码，用于打印 GPU 的利用率和显存使用情况： ```python import pynvml def get_gpu_info(): try: pynvml.nvmlInit() device_count = pynvml.nvmlDeviceGetCount() # 获取 GPU 数量 gpu_infos = [] for i in range(device_count): handle = pynvml.nvmlDeviceGetHandleByIndex(i) name = pynvml.nvmlDeviceGetName(handle).decode('utf-8') # 获取 GPU 名称 mem_info = pynvml.nvmlDeviceGetMemoryInfo(handle) # 显存信息 total_mem = mem_info.total / (1024 ** 2) # 转换为 MB used_mem = mem_info.used / (1024 ** 2) util_rate = pynvml.nvmlDeviceGetUtilizationRates(handle) # GPU 利用率 gpu_util = util_rate.gpu info = { 'name': name, 'total_memory_mb': round(total_mem, 2), 'used_memory_mb': round(used_mem, 2), 'utilization_percentage': gpu_util } gpu_infos.append(info) return gpu_infos except Exception as e: print(f"Error occurred: {e}") finally: pynvml.nvmlShutdown() if __name__ == "__main__": gpus = get_gpu_info() for idx, gpu in enumerate(gpus): print(f"GPU {idx}: Name={gpu['name']}, Used Mem={gpu['used_memory_mb']}MB/{gpu['total_memory_mb']}MB, Util Rate={gpu['utilization_percentage']}%") ``` 上述代码展示了如何通过 PyNVML 查询多个 GPU 的名称、显存使用量以及 GPU 利用率。 --- #### 方法四：部署 Web 可视化平台 对于希望在网页端实时查看 GPU 运行状态的需求，可以选择搭建基于浏览器的监控系统。一种推荐方案是使用 `nvidia-gpu-exporter` 工具[^4]。此工具配合 Prometheus 和 Grafana，可以实现 GPU 数据的采集与图表化展示。具体步骤包括： 1. 安装并配置 `nvidia-gpu-exporter`； 2. 配置 Prometheus 抓取 exporter 的数据； 3. 在 Grafana 中创建仪表盘，绘制 GPU 使用率曲线图和其他关键指标。 这种方法适合团队协作环境，便于多人远程监控 GPU 状态。 --- ### 结论 综上所述，可以根据实际需求选择合适的监控手段。如果是本地开发调试场景，建议优先尝试 `nvidia-smi` 或 `nvtop`；而对于生产环境中多用户共享 GPU 资源的情况，则更适合采用基于 Web 的可视化监控方案。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值