深度学习训练时GPU利用率忽高忽低问题

最新推荐文章于 2025-10-14 17:11:33 发布
原创 最新推荐文章于 2025-10-14 17:11:33 发布 · 1.5w 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了GPU利用率波动的原因，主要集中在数据预处理和加载时间过长。建议通过优化数据读取策略，如内存缓存、固态硬盘存储，以及调整Dataloader设置（如pin_memory参数）来缩短CPU处理时间，从而提高GPU利用率。同时提出对预处理步骤进行离线处理，例如图像的resize和padding，以确保GPU工作流畅。
部署运行你感兴趣的模型镜像

gpu利用率经常在0-99%之间跳动，找了一圈原因，可能是以下几点：

1. 数据预处理：CPU预处理太长，GPU空闲跟不上

 

解决办法：

可能是读数据或者数据预处理的时间过长，读数据部分可以尝试把全部或者部分数据放在内存，也可以放固态上。

数据预处理部分有些变换是否可以固定，假如是图像数据，有些resize或者padding的操作是否可以离线处理好。

适当调整dataloader读数据的线程数 pin_memory=4/8。

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

MelNet一种用于对象检测的实时深度学习算法 yolov5、EfficientDet 和 Faster-RCNN-MobileNetv3
斌擎科技
05-22 1528
人们观察图像并迅速识别图像中包含的物体，辨别 它们的位置，并理解它们之间的相互作用。人类的视觉 系统表现出快速性和精确性，允许进行复杂的活动，例 如以最小的有意识思考[53]驾驶车辆。近年来，深度学习在解决目标检测、语义分割、行 人再识别、图像检索、异常检测、皮肤病诊断等挑战性 问题方面表现出了巨大的增长。在深度学习中已经定义 了各种类型的神经网络来从数据中学习抽象特征，例如 多层感知器(MLP)、卷积神经网络(CNN)、循环神经网络 (RNN)和生成对抗网络(GAN)。
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征提取（论文篇二）
qq_36130719的博客
04-17 821
对文本进行自动分类的过程。在该系统中，将待分类的文本输入到文本分类系统中，输出的是。涉及到的词嵌入和预训练语言模型、神经网络和深度学习、多尺度特征提取等技术。事实上，对于人脸对齐这种关联型任务，人脸各个部分，并不是在相同的。人工神经网络是模拟人类大脑的神经结构来进行设计的，用一种数学和计算模型。来模拟自然界生物的神经元活动，由大量相互连接的神经元来对信息进行计算和。传递，最终利用误差反向传播来对模型的参数进行调整，来拟合输入和输出的关。大多深度网络网络模型只使用最后一层的卷积特征，这样可能会造成信息的。
关于GPU利用率忽高忽低的问题
weixin_43526952的博客
07-22 8928
重点来了：有时候GPU利用率忽高忽低，高的时候能达到90%，然后立马又降到十几。我发现主要的原因是虽然模型数据已经加载到了gpu，但是后面有些度量函数做运算的时候，这些计算没有to（device），所以当我把所有能加to（device）的向量、类对象等都加上以后，立马利用率就上了，计算也快了很多。总结：忽高忽低大概率是除了模型之外，还有些函数的运算过程没有放到GPU，在cpu做了运算，解决办法就是全部to（device）主要看两个重要指标：①GPU的显存占用；gpu的各状态属性已经有很多帖子都讲的很详细。
pytorch训练，gpu利用率不稳定
stupid_miao的博客
09-10 6509
问题描述： 单主机四gpu利用torch.nn.DataParallel进行多gpu的训练；gpu的内存占有率没问题，但使用率很低，很长一段时间在百分之零。 问题原因： 读取每个batch size的图像时，cpu读取时间较长。（batch_size = 1024, 设置DataLoader线程4、8、16、32的改善都不大，且pin_memory=true），开始的dataset为下面方式，显然每次读取时io的耗时比较长。于是，将图像全部读出（硬件支持…），然后再进行每次的变量赋值。 class myDa
AMD显卡GPU占用率100%？别慌，这是排查与解决全攻略
最新发布
cdjiyuntx的博客
10-14 4444
AMD显卡GPU占用率100%可能是正常现象也可能是异常情况。在运行大型3D游戏等高负载任务时，满占用是显卡全力工作的表现；但在低负载场景下持续高占用则需警惕。本文提供了系统性排查方案：首先区分正常与异常情况；其次检查后台进程、更新驱动、调整系统设置；然后优化游戏内图形设置和帧率；最后深入检查温度、CPU瓶颈和电源供应。通过这套方法，用户可以准确判断问题根源，确保显卡性能得到最佳发挥。
YOLOv5训练速度慢 GPU占用率低
Goyavae的博客
03-31 1万+
用Yolo5跑自己的数据集，torch_GPU和CUDA都安装了，使用GPU跑模型，GPU的占用率为1%，设置的epoch为300，batch size为32，大概6min多/epoch，数据集很小，刚过一千。在网上查了相关的文章，发现可能是读取数据造成的，把cache-image的action='store_true'改成'store_false'。
yolov5 提速多GPU训练显存低的问题
zqwwwm的博客
11-11 1万+
yolov5多GPU训练显存低 修改前： 按照配置，在train.py配置如下： 运行 python train.py 后nvidia-smi 显示显存占用如下： 修改后 参考yolov5 官方中的issue中，有人提到的分布式多进程的方法： 在yolov5运行的虚拟环境下，找到torch的distributed 的环境：比如我的在conda3/envs/rcnn/lib/python3.6/site-packages/torch/distributed/； 在distributed文件下，新建多进程的
深度学习训练时GPU利用率忽高忽低如何解决？
热门推荐
Drug discovery
09-30 2万+
在windowas上进行深度学习的时候，可能会出现GPU负载忽高忽低的现象，（突然98，突然50...） 这种情况很有可能是 读数据或者数据预处理的时间过长，读数据部分可以尝试把全部或者部分数据放在内存，也可以放固态上。 数据预处理部分有些变换是否可以固定，假如是图像数据，有些resize或者padding的操作是否可以离线处理好。 当然，适当调整dataloader读数据的线程数可能也会有帮助。 即两种情况： 你应该将你的程序和数据放在固态上而不是机械上 你应该设置你的num_wor..
GPU利用率忽高忽低
qq_43663979的博客
11-03 6056
很有可能是从外部磁盘读取的数据集，最好将数据集copy到内存。
深度学习CPU利用率忽高忽低
03-21
### 深度学习中CPU利用率波动的原因 在深度学习领域，尤其是在涉及大规模数据集和复杂模型的场景下，CPU利用率可能会出现不稳定的波动现象。这通常由以下几个因素引起： #### 数据加载效率不足 当使用多线程或多...
GPU利用率不稳定
07-30
在深度学习训练过程中，GPU利用率忽高忽低是一个常见问题，通常由以下几个原因导致： 1. **数据加载瓶颈** 数据从磁盘读取到内存，再传输到GPU的过程中，如果加载速度跟不上GPU的计算速度，会导致GPU空闲等待。...
一些深度学习调参心得
weixin_47716911的博客
07-23 1537
文章来源 | 极链AI云（性价比最高的共享算力平台，助力你的技术成长～首次注册可获免费100小时GPU使用时长！官网地址：https://cloud.videojj.com/） 作者 | Chaser【极链AI云技术原创奖励计划】千元云币券获得者 原文地址 |调参心得（官网论坛）已获授权 实验效果校验心得 什么时候加augment，什么时候加multi-scale，学习率怎么设置？ 数据增强 个人体会是，验证性阶段过了之后，当你开始跑ablation study时，一定要注意数...
nvitop强化学习：智能体训练的GPU资源分配
gitblog_00378的博客
09-20 443
在强化学习（Reinforcement Learning, RL）训练过程中，GPU资源分配面临三大核心挑战：资源利用率波动大、多智能体竞争冲突、动态调整响应滞后。以AlphaFold训练为例，其GPU利用率在50%-95%间剧烈波动，导致资源浪费或任务阻塞。nvitop作为一款交互式NVIDIA GPU进程管理工具，通过实时监控与精细化控制，为智能体训练提供全生命周期的GPU资源管理解决方案。 ...
yolov5远程gpu训练出现的问题
qq_46126621的博客
03-24 457
在安装要求时需要把torch、torchversion注释掉或者直接删掉，否则安装的cuda默认为是cpu版本的，就会替代掉自己安装的gpu版本的cuda;这里有很多的Linux命令，需要自己慢慢记住使用，这时候可以在实例监控这里看云端gpu占用情况。因为是远程安装 所以安装的会特别快。在这里如果看到波动 就说明整在gpu训练。安装完之后 即可进入相应的文件夹运行。然后在python train.py。
训练模型时GPU占用率过低
H_XKA_H的博客
04-24 7179
训练模型时设置的batch-size是12，worker是3，按照网上的方法将batch-size或者worker调大，会出现内存不足和CUDA相关的各种问题，最后才发现训练模型时的GPU利用率，不是在任务管理器查看的。训练yolov8模型时发现GPU利用率过低。90%，怪不得调高batch会内存爆掉。
不一样的显卡，在Pytorch中跑相同的网络，配置文件、参数、数据集完全相同，为什么训练结果相差特别多？
u013250861的博客
10-01 2909
gtx1070和gtx660，两个显卡，分别在caffe中跑相同的网络，配置文件、参数、数据集完全相同，为什么训练结果相差特别多，1070的训练损失特大，准确率与瞎猜差不多，反而是660的老显卡准确率0.9以上，请问有这是正常情况吗，难道根据显卡的配置不同，网络的参数调节也要有很大的不同吗？建议跑一下caffe 里的mnist example。看看新显卡环境是不是准确率低。然后换到cudnnV5的caffe版本再试试。很可能是cudnnV4和Nvidia显卡不兼容的问题造成的，我最近就遇到这个大坑。
实验中GPU利用率低的可能的原因：
Hero_Never_GIVE_UP的博客
12-26 2万+
最近做实验利用率不知道为什么那么低，只有8%左右，固然有因为我每个批次的数据占用空间不大的原因，但是后来跑着跑着还莫名其妙的保错（之前用大batch做过验证试验，能跑完，没毛病），回溯问题如下： Traceback (most recent call last): File "run.py", line 91, in <module> siam.y_true: y_tr...
(14)关于PyTorch训练深度学习模型CPU/GPU使用率低，训练速度慢这一问题的总结
weixin_40227656的博客
08-16 1万+
电脑配置双2080Ti+i7-10700K，使用mobilenet-yolov4-lite训练VOC数据集时，训练100epochs要五六个小时，检测cpu和gpu的使用发现利用率都很低，说明没有充分使用电脑优秀的性能，两个显卡的使用率都分别只有20%-50%，查阅一些资料总结如下： １、参考：【深度学习】踩坑日记：模型训练速度过慢，GPU利用率低 上面作者指出四个提速技巧： 减少日志IO操作频率 使用pin_memory和num_workers 使用半精度训练 更好的显卡，更轻的模型 其中，第
CPU和GPU频率波动幅度
测试专家的专栏
12-16 3539
CPU自产生以来，在逻辑结构、运行效率以及功能外延上取得了巨大发展。从最初专用于数学计算到广泛应用于通用计算，从4位到8位、16位、32位处理器，最后到64位处理器，从各厂商互不兼容到不同指令集架构规范的出现，CPU 自诞生以来一直在飞速发展。cpu会根据当前工作负载自动调节频率高低和核心启停，每个核心的使用率会在1%~100%之间不停大幅变动，目的是在不影响性能的前提下节能，只有在运行非常占硬件性能的程序时cpu使用率才会稳定在一个较高的平滑的曲线上，平时都是大幅波动的。
提升GPU利用率：深度学习训练效率优化技巧
快来看看别人家的tricks吧〜.pdf" 这一文档深入探讨了在深度学习模型训练过程中，尤其是使用 TensorFlow 框架时，常见的 GPU 利用率低下问题及其根本原因与优化策略。尽管显存已接近满载，但 GPU 的实际计算利用率却...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值