深入解析nvitop：NVIDIA GPU进程监控与管理的利器-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00313/article/details/148490979

深入解析nvitop：NVIDIA GPU进程监控与管理的利器

nvitop An interactive NVIDIA-GPU process viewer and beyond, the one-stop solution for GPU process management. 项目地址: https://gitcode.com/gh_mirrors/nv/nvitop

项目概述

nvitop是一个功能强大的交互式NVIDIA GPU进程查看器和管理工具，为GPU进程监控提供了一站式解决方案。该项目通过直观的命令行界面和丰富的API接口，让开发者能够轻松监控和管理GPU资源使用情况。

核心功能特性

实时监控：提供GPU设备温度、风扇转速、显存使用率等关键指标的实时监控
进程管理：详细显示每个GPU上运行的进程信息，包括PID、用户、CPU占用、显存占用等
交互式界面：支持类似top命令的交互式操作体验
API支持：提供丰富的Python API，便于集成到自定义监控系统中
多平台支持：兼容Linux和Windows系统

安装指南

快速入门

基础监控示例

以下是一个使用nvitop API监控GPU设备的基础示例：

from nvitop import Device

devices = Device.all()  # 获取所有GPU设备
for device in devices:
    processes = device.processes()  # 获取设备上的进程
    
    print(device)
    print(f'  - 风扇转速:       {device.fan_speed()}%')
    print(f'  - 温度:           {device.temperature()}C')
    print(f'  - GPU利用率:      {device.gpu_utilization()}%')
    print(f'  - 总显存:         {device.memory_total_human()}')
    print(f'  - 已用显存:       {device.memory_used_human()}')
    print(f'  - 可用显存:       {device.memory_free_human()}')
    print(f'  - 进程数 ({len(processes)}): {sorted(processes)}')
    for pid in sorted(processes):
        print(f'    - {processes[pid]}')
    print('-' * 120)

高级监控示例（带颜色输出）

import time
from nvitop import Device, GpuProcess, NA, colored

print(colored(time.strftime('%a %b %d %H:%M:%S %Y'), color='red', attrs=('bold',)))

devices = Device.cuda.all()  # 使用CUDA索引获取设备
separator = False
for device in devices:
    processes = device.processes()
    
    print(colored(str(device), color='green', attrs=('bold',)))
    print(colored('  - 风扇转速:       ', color='blue', attrs=('bold',)) + f'{device.fan_speed()}%')
    # 其他监控指标输出...
    
    if len(processes) > 0:
        processes = GpuProcess.take_snapshots(processes.values(), failsafe=True)
        processes.sort(key=lambda process: (process.username, process.pid))
        
        print(colored(f'  - 进程 ({len(processes)}):', color='blue', attrs=('bold',)))
        fmt = '    {pid:<5}  {username:<8} {cpu:>5}  {host_memory:>8} {time:>8}  {gpu_memory:>8}  {sm:>3}  {command:<}'.format
        print(colored(fmt(pid='PID', username='用户',
                          cpu='CPU%', host_memory='主机内存', time='运行时间',
                          gpu_memory='显存', sm='SM%',
                          command='命令'),
                      attrs=('bold',)))
        for snapshot in processes:
            print(fmt(pid=snapshot.pid,
                      username=snapshot.username[:7] + ('+' if len(snapshot.username) > 8 else snapshot.username[7:8]),
                      cpu=snapshot.cpu_percent, 
                      host_memory=snapshot.host_memory_human,
                      time=snapshot.running_time_human,
                      gpu_memory=(snapshot.gpu_memory_human if snapshot.gpu_memory_human is not NA else 'WDDM:N/A'),
                      sm=snapshot.gpu_sm_utilization,
                      command=snapshot.command))
    else:
        print(colored('  - 无运行进程', attrs=('bold',)))

    if separator:
        print('-' * 120)
    separator = True