『CV学习笔记』NVIDIA GPU监控工具nvidia-smi/gpustat/nvtop/nvitop

已于 2023-12-26 10:18:05 修改
阅读量2.2k 收藏 25
点赞数 19
分类专栏： CV学习笔记 文章标签： nvidia-smi gpustat nvtop nvitop
于 2023-12-26 10:10:11 首次发布
引用请附上作者博客链接https://zhangkaifang.blog.youkuaiyun.com/，谢谢理解！
本文链接：https://blog.youkuaiyun.com/abc13526222160/article/details/135214068
版权
本文介绍了四个用于监控NVIDIA GPU的工具：nvidia-smi是最有名的，gpustat提供彩色简约显示，nvtop提供详细信息但需要root权限，nvitop则结合了详细信息和便捷安装。nvitop还具备三种展示模式，可以显示每个进程的详细信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

NVIDIA GPU监控工具nvidia-smi/gpustat/nvtop/nvitop

文章目录

一. nvidia-smi(最有名，没有之一🤚🤚)

# 直接在终端输入nvidia-smi可以得到显卡情况：
nvidia-smi
# 直接在终端输入nvidia-smi可以得到显卡情况：下面是每隔0.1秒刷新一次。
watch -n 0.1 nvidia-smi

在这里插入图片描述

二. gpustat(彩色并简约的显示🤚🤚🤚🤚)


                

                
                
        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    



                



	

		

			

				
					
Nvidia 系列 之 在 Ubuntu 22.04 中为 LLM 设置 Nvidia GPU

				
			

			

				

					iCloudEnd的博客
				

				

					08-01
					
					423
					
				

			

		

		

			
				
在开始安装之前，我们先来了解一下要安装的内容：Nvidia 驱动程序 — 这是 Nvidia 的硬件驱动程序。安装前请先了解您的显卡型号。CUDA 工具包 — CUDA 工具包由 Nvidia 提供。它包含 GPU 加速环境中的库、编译器、开发工具和示例、CUDA 运行时等。cuDNN — Nvidia cuDNN 以 CUDA 深度神经网络为基础。它是一个针对 DNN 计算的高度优化的 GPU 加速库。

			
		

	



                

            
              



	

		

			

				
					
计算机视觉研究人员必备的Linux命令行技巧

				
			

			

				

					深度学习与计算机视觉
				

				

					03-21
					
					3804
					
				

			

		

		

			
				
介绍Jeroen Janssens在《命令行的数据科学》一书中对命令行优势进行了很好的分类：命令行是灵活的：这个特性使它非常适合数据科学的探索性质。因为你想要及时得到结果。命令行可以扩展：...

			
		

	



              


  
              

                


	

		

			

				
					
GPU实时监控神器：从 nvidia-smi 到 nvtop

					
最新发布

				
			

			

				

					weixin_43887510的博客
				

				

					04-24
					
					1166
					
				

			

		

		

			
				
在使用 GPU 训练深度学习模型或进行大规模计算任务时，实时监控 GPU 状态对于合理分配资源、优化性能至关重要。本文将介绍两个非常实用的GPU监控工具：经典的nvidia-smi和更加直观、互动的nvtop。两块 4090 正在高强度运行（91%），说明模型或者任务在跑。显存都占用了一部分，但没有满，说明显存压力不是特别大。没有明显过热现象。进程中多为 python 程序，使用的是 miniconda 环境。两块 RTX 4090 GPU 当前负载较低（基本没跑大的模型或推理任务）

			
		

	





	

		

			

				
					
使用nvidia_gpu_expoter配合prometheus+grafana监控GPU性能

				
			

			

				

					boxrice007的博客
				

				

					05-16
					
					5899
					
				

			

		

		

			
				
项目地址：​​GitHub - utkuozdemir/nvidia_gpu_exporter: Nvidia GPU exporter for prometheus using nvidia-smi binary

根据git上面的nvidia监控项目，可以实现grafana监控GPU，但是git上面提供的utkuozdemir/nvidia_gpu_exporter:0.3.0这个镜像只可以在ubuntu系统上面运行，如果在centos上运行，日志会提示无法获取到GPU信息，也就导致无法接到k8s的p.

			
		

	



		

			
		



	

		

			

				
					
推荐：GPU监控利器——gmonitor

				
			

			

				

					gitblog_00080的博客
				

				

					05-31
					
					631
					
				

			

		

		

			
				
推荐：GPU监控利器——gmonitor

    
        
            gmonitor
            gmonitor is a GPU monitor (Nvidia only at the moment)
            
                项目地址: https://gitcode.com/gh_mirrors/gm/gmonitor...

			
		

	





	

		

			

				
					
GPU性能实时监控的几种软件

				
			

			

				

					★ James Liu @ 优快云
				

				

					05-13
					
					6806
					
				

			

		

		

			
				
四款GPU性能监控工具软件

			
		

	





	

		

			

				
					
重磅！！！监控分布式NVIDIA-GPU状态

				
			

			

				

					we chat：玩转测试开发
				

				

					04-25
					
					2149
					
				

			

		

		

			
				
同理可以监控各类服务，进程，端口，占用。本质是：通过启动一个接口服务，将Uptime Kuma监控平台的接口请求，先指向这个服务接口，接口通过paramiko的方式，在对应的服务器执行对应的命令，解析这个命令，然后返回给Uptime Kuma平台。：Uptime Kuma是一个易于使用的自托管监控工具，它的界面干净简洁，部署和使用都非常方便，用来监控GPU是否在占用，非常美观。3、搭建sanic服务端：主要是写访问nvidia-smi的一个接口。：多个机器的卡就发起多个监控项，填入对应账号密码即可。

			
		

	





	

		

			

				
					
nvidia-msi命令解读

				
			

			

				

					dianwonin4433的博客
				

				

					10-06
					
					3594
					
				

			

		

		

			
				
nvidia-msi

或者
watch -n 1 nvidia-smi

打印出表格中：
第一栏的Fan：N/A是风扇转速，从0到100%之间变动，这个速度是计算机期望的风扇转速，实际情况下如果风扇堵转，可能打不到显示的转速。有的设备不会返回转速，因为它不依赖风扇冷却而是通过其他外设保持低温（比如我们实验室的服务器是常年放在空调房间里的）...

			
		

	





	

		

			

				
					
【NVIDIA】如何使用nvidia-smi命令管理和监控GPU

				
			

			

				

					从善若水的博客
				

				

					10-01
					
					3883
					
				

			

		

		

			
				
当前各行各业都离不开GPU的加持，随着6G的研究进展，未来6G会是一个技术大融合的系统，其中就包括算力网络、AI、通信感知等对算力需求比较大的服务。下面我们学习一下GPU的管理和监控方法。

			
		

	





	

		

			

				
					
nvidia-smi：gpu资源使用情况监控（动态获取gpu利用率、内存利用率、温度等参数）

					
热门推荐

				
			

			

				

					测试人的成长日志
				

				

					06-07
					
					1万+
					
				

			

		

		

			
				
1、显示内存、gpu的占用率，动态显示成列表形式，并输出到csv表格中。lms是毫秒为粒度刷新 如果秒的话，参数设置为l就可以了nvidia-smi -lms --query-gpu=timestamp,pstate,temperature.gpu,utilization.gpu,utilization.memory,memory.total,memory.free,memory.used --format=csv | tee gpu-log.csv界面输出和csv文件内容如下：
2、nvidia-smi 

			
		

	





	

		

			

				
					
GPU显存占用但nvidia-smi不显示进程号, nvtop出现N/A

				
			

			

				

					L_egend_ing的博客
				

				

					03-27
					
					1947
					
				

			

		

		

			
				
(LINUX)

			
		

	





	

		

			

				
					
gmonitor：一款强大的GPU监控工具

				
			

			

				

					gitblog_01000的博客
				

				

					09-15
					
					1318
					
				

			

		

		

			
				
gmonitor：一款强大的GPU监控工具

    
        
            gmonitor
            gmonitor is a GPU monitor (Nvidia only at the moment)
            
                
                项目地址: https://gitcode.com/gh_m...

			
		

	





	

		

			

				
					
基于DCGM和Prometheus的GPU监控方案

				
			

			

				

					u011619480的专栏
				

				

					03-31
					
					3605
					
				

			

		

		

			
				
基于DCGM和Prometheus的GPU监控方案

			
		

	





	

		

			

				
					
Python实时监控GPU运行状态(含源码&jupyter-lab)

				
			

			

				

					专注于人工智能领域的小何尚
				

				

					05-27
					
					4537
					
				

			

		

		

			
				
GPU运行状态监测

介绍
NVDashboard 是一个开源包，用于在交互式 Jupyter Lab 环境中实时可视化 NVIDIA GPU 指标。 NVDashboard 是所有 GPU 用户监控系统资源的好方法。然而，它对于 NVIDIA 的 GPU 加速数据科学软件库开源套件 RAPIDS 的用户来说尤其有价值。
鉴于现代数据科学算法的计算强度，在许多情况下 GPU 可以提供改变游戏规则的工作流加速。为了达到最佳性能，底层软件有效利用系统资源是绝对关键的。尽管加速库（如 cuDNN 和 RAPIDS

			
		

	





	

		

			

				
					
监测Nvidia GPU资源的nvtop、nvitop工具

				
			

			

				

					IT菜鸟
				

				

					09-05
					
					4073
					
				

			

		

		

			
				
监测Nvidia GPU资源的nvtop、nvitop工具

			
		

	





	

		

			

				
					
nvidia-smi命令及实时监控

				
			

			

				

					kksimida的博客
				

				

					08-08
					
					3052
					
				

			

		

		

			
				
1. nvidia-smi
显示电脑里显卡情况，例如：

Fan：                     风扇转速（0%–100%），N/A表示没有风扇
Temp：                 GPU温度（GPU温度过高会导致GPU频率下降）
Perf：                    性能状态，从P0（最大性能）到P12（最小性能）
Pwr：                     GPU功耗
Persistence-M：   持续模式的状态（持续模式耗能大，但在新的GPU应用启动时花费时间更

			
		

	





	

		

			

				
					
NVIDIA GPU 监控观测最佳实践

				
			

			

				

					观测云的博客
				

				

					07-18
					
					1672
					
				

			

		

		

			
				
DCGM（Data Center GPU Manager）即数据中心 GPU 管理器，是一套用于在集群环境中管理和监视 Tesla™GPU 的工具。它包括主动健康监控，全面诊断，系统警报以及包括电源和时钟管理在内的治理策略。

			
		

	





	

		

			

				
					
GPU监控（一）将nvidia-smi相关信息保存在log文件中

				
			

			

				

					qq_42492684的博客
				

				

					08-18
					
					1749
					
				

			

		

		

			
				
要将nvidia-smi信息记录下来保存在log文件中，后续通过log文件中的内容生成显存使用量折线图，便于进行GPU用量监控。本文章记录需求实现第一部分：将nvidia-smi信息记录下来保存在log文件中。

			
		

	





	

		

			

				
					
nvitop

				
			

			

				

					03-29
				

			

		

		

			
				
### 关于 nvitop 的介绍

`nvitop` 是一款用于监控 NVIDIA GPU 使用情况的工具，它能够提供实时的 GPU 资源占用信息以及进程管理功能。该工具基于 `nvidia-ml-py3` 库开发，并提供了类似于 `htop` 的交互界面[^3]。

以下是关于安装和使用的详细介绍：

---

#### 安装方法

可以通过 Python 的包管理器 `pip` 来安装 `nvitop` 工具。确保已安装最新版本的 pip 和 setuptools 后运行以下命令：

```bash
pip install --upgrade nvitop
```

如果需要支持 CUDA 进程跟踪，则还需要额外安装依赖库 `pycuda`:

```bash
pip install pycuda
```

对于某些环境可能需要手动配置 NVIDIA 驱动程序及其对应的 ML SDK 版本，请确认驱动已经正确安装并满足最低需求[^4]。

---

#### 基本使用指南

启动 `nvitop` 可通过简单的命令完成：

```bash
nvitop
```

这会打开一个图形化终端界面，在其中可以查看当前系统的 GPU 列表、每张卡上的内存分配详情、计算能力指标等数据。此外还允许用户操作相关联的任务比如终止特定 ID 所属的应用程序实例。

一些常用快捷键如下所示：
- `/`: 搜索指定名称或者 PID 对应项；
- `q`: 退出应用；
- 方向键/Tab 键切换选中项目；

更多高级特性可通过阅读官方文档获取更多信息[^5]。

---

### 示例脚本展示如何集成到自动化流程里

下面给出一段简单例子说明怎样利用 API 接口形式调用而非仅限 CLI 模式下工作：

```python
import nvitop

gpus = nvitop.Device.all()  # 获取所有可用设备对象列表
for gpu in gpus:
    print(f'GPU {gpu.index}:')
    print(f'  Name        : {gpu.name}')
    print(f'  Memory Total: {gpu.memory_total_human()}')
    print(f'  Memory Used : {gpu.memory_used_human()}')
    processes = gpu.processes()
    if processes is not None:
        for pid, process in processes.items():
            print(f'  Process {pid} uses {process.used_memory_human()} memory.')
```

上述代码片段展示了遍历检测每一枚显卡基本信息及关联线程资源消耗状况的方法[^6]。

---

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
AI大模型前沿研究

			
感谢您的打赏，我会继续努力！

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值