72、GPU 功率限制：深度学习训练中的能效权衡

GPU 功率限制：深度学习训练中的能效权衡

1. 功率监控与控制方法

在对英伟达 GPU 进行功率监控和控制时，采用了英伟达管理库（NVML）中公开的应用程序可编程接口（API）。具体操作如下：
- 功率读取 ：使用 nvmlDeviceGetPowerUsage 函数读取当前功率使用情况，单位为毫瓦，根据英伟达文档，其精度在当前功率消耗的 ±5% 以内。
- 功率限制设置 ：通过 nvmlDeviceSetPowerManagementLimit API 调用设置 GPU 功率限制。
- 功率数据采集 ：以固定周期 T = 0.5 秒读取功率消耗。
- 能耗计算 ：能耗 E 是当前功率 P 与采样周期 T 的乘积在与应用程序总执行时间相同的给定区间内的定积分。应用程序执行时间使用 C++ 的 std::chrono::high_resolution_clock 进行测量。

整个功率限制探索和性能 - 能耗权衡评估过程通过一个名为 StaticEnergyProfiler（StEP）的软件工具实现自动化。该工具最初作为 EnergyProfiler 用于探索英特尔 CPU 的软件功率上限，后来扩展支持英伟达 GPU，并以新的命名约定在开源存储库中发布，可在 Software Power Li