深度学习训练时GPU利用率忽高忽低问题

最新推荐文章于 2024-09-19 22:52:14 发布
最新推荐文章于 2024-09-19 22:52:14 发布
阅读量1.5w 收藏 8
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Deep Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Alphabetic/article/details/117322618
本文探讨了GPU利用率波动的原因，主要集中在数据预处理和加载时间过长。建议通过优化数据读取策略，如内存缓存、固态硬盘存储，以及调整Dataloader设置（如pin_memory参数）来缩短CPU处理时间，从而提高GPU利用率。同时提出对预处理步骤进行离线处理，例如图像的resize和padding，以确保GPU工作流畅。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

gpu利用率经常在0-99%之间跳动，找了一圈原因，可能是以下几点：

1. 数据预处理：CPU预处理太长，GPU空闲跟不上

 

解决办法：

可能是读数据或者数据预处理的时间过长，读数据部分可以尝试把全部或者部分数据放在内存，也可以放固态上。

数据预处理部分有些变换是否可以固定，假如是图像数据，有些resize或者padding的操作是否可以离线处理好。

适当调整dataloader读数据的线程数 pin_memory=4/8。

MelNet一种用于对象检测的实时深度学习算法 yolov5、EfficientDet 和 Faster-RCNN-MobileNetv3
sybh的博客
05-22 1398
人们观察图像并迅速识别图像中包含的物体，辨别 它们的位置，并理解它们之间的相互作用。人类的视觉 系统表现出快速性和精确性，允许进行复杂的活动，例 如以最小的有意识思考[53]驾驶车辆。近年来，深度学习在解决目标检测、语义分割、行 人再识别、图像检索、异常检测、皮肤病诊断等挑战性 问题方面表现出了巨大的增长。在深度学习中已经定义 了各种类型的神经网络来从数据中学习抽象特征，例如 多层感知器(MLP)、卷积神经网络(CNN)、循环神经网络 (RNN)和生成对抗网络(GAN)。
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征提取（论文篇二）
qq_36130719的博客
04-17 729
对文本进行自动分类的过程。在该系统中，将待分类的文本输入到文本分类系统中，输出的是。涉及到的词嵌入和预训练语言模型、神经网络和深度学习、多尺度特征提取等技术。事实上，对于人脸对齐这种关联型任务，人脸各个部分，并不是在相同的。人工神经网络是模拟人类大脑的神经结构来进行设计的，用一种数学和计算模型。来模拟自然界生物的神经元活动，由大量相互连接的神经元来对信息进行计算和。传递，最终利用误差反向传播来对模型的参数进行调整，来拟合输入和输出的关。大多深度网络网络模型只使用最后一层的卷积特征，这样可能会造成信息的。
TensorFlow 显存占用率高 GPU利用率低
ProLayman的博客
07-18 1万+
nvidia-smi指令 命令位置： 所以Path中添加环境变量： C:\Program Files\NVIDIA Corporation\NVSMI 试验一哈： 要注意的点： Driver Version和CUDA Version不是一回事 CUDA Version实际是环境变量中Path配置的，如果一台机器同时装了多个CUDA，那么这里的CUDA Version显示的是Path中靠前的C...
pytorch训练，gpu利用率不稳定
stupid_miao的博客
09-10 6423
问题描述： 单主机四gpu利用torch.nn.DataParallel进行多gpu的训练；gpu的内存占有率没问题，但使用率很低，很长一段时间在百分之零。 问题原因： 读取每个batch size的图像时，cpu读取时间较长。（batch_size = 1024, 设置DataLoader线程4、8、16、32的改善都不大，且pin_memory=true），开始的dataset为下面方式，显然每次读取时io的耗时比较长。于是，将图像全部读出（硬件支持…），然后再进行每次的变量赋值。 class myDa
关于GPU利用率忽高忽低的问题
weixin_43526952的博客
07-22 8127
重点来了：有时候GPU利用率忽高忽低，高的时候能达到90%，然后立马又降到十几。我发现主要的原因是虽然模型数据已经加载到了gpu，但是后面有些度量函数做运算的时候，这些计算没有to（device），所以当我把所有能加to（device）的向量、类对象等都加上以后，立马利用率就上了，计算也快了很多。总结：忽高忽低大概率是除了模型之外，还有些函数的运算过程没有放到GPU，在cpu做了运算，解决办法就是全部to（device）主要看两个重要指标：①GPU的显存占用；gpu的各状态属性已经有很多帖子都讲的很详细。
深度学习训练时GPU利用率忽高忽低如何解决？
Drug discovery
09-30 2万+
在windowas上进行深度学习的时候，可能会出现GPU负载忽高忽低的现象，（突然98，突然50...） 这种情况很有可能是 读数据或者数据预处理的时间过长，读数据部分可以尝试把全部或者部分数据放在内存，也可以放固态上。 数据预处理部分有些变换是否可以固定，假如是图像数据，有些resize或者padding的操作是否可以离线处理好。 当然，适当调整dataloader读数据的线程数可能也会有帮助。 即两种情况： 你应该将你的程序和数据放在固态上而不是机械上 你应该设置你的num_wor..
GPU利用率忽高忽低
qq_43663979的博客
11-03 5592
很有可能是从外部磁盘读取的数据集，最好将数据集copy到内存。
yolov5远程gpu训练出现的问题
qq_46126621的博客
03-24 409
在安装要求时需要把torch、torchversion注释掉或者直接删掉，否则安装的cuda默认为是cpu版本的，就会替代掉自己安装的gpu版本的cuda;这里有很多的Linux命令，需要自己慢慢记住使用，这时候可以在实例监控这里看云端gpu占用情况。因为是远程安装 所以安装的会特别快。在这里如果看到波动 就说明整在gpu训练。安装完之后 即可进入相应的文件夹运行。然后在python train.py。
训练模型时GPU占用率过低
H_XKA_H的博客
04-24 6115
训练模型时设置的batch-size是12，worker是3，按照网上的方法将batch-size或者worker调大，会出现内存不足和CUDA相关的各种问题，最后才发现训练模型时的GPU利用率，不是在任务管理器查看的。训练yolov8模型时发现GPU利用率过低。90%，怪不得调高batch会内存爆掉。
不一样的显卡，在Pytorch中跑相同的网络，配置文件、参数、数据集完全相同，为什么训练结果相差特别多？
u013250861的博客
10-01 2790
gtx1070和gtx660，两个显卡，分别在caffe中跑相同的网络，配置文件、参数、数据集完全相同，为什么训练结果相差特别多，1070的训练损失特大，准确率与瞎猜差不多，反而是660的老显卡准确率0.9以上，请问有这是正常情况吗，难道根据显卡的配置不同，网络的参数调节也要有很大的不同吗？建议跑一下caffe 里的mnist example。看看新显卡环境是不是准确率低。然后换到cudnnV5的caffe版本再试试。很可能是cudnnV4和Nvidia显卡不兼容的问题造成的，我最近就遇到这个大坑。
深度学习CPU利用率忽高忽低
最新发布
03-21
### 深度学习中CPU利用率波动的原因 在深度学习领域，尤其是在涉及大规模数据集和复杂模型的场景下，CPU利用率可能会出现不稳定的波动现象。这通常由以下几个因素引起： #### 数据加载效率不足 当使用多线程或多...
模型训练时CPU和GPU大幅度波动——可能是数据的读入拖后腿
jokerMingge的博客
09-19 659
在进行猫狗大战分类任务时，发现模型训练时CPU和GPU大幅度波动，且模型训练速度很慢。
一些深度学习调参心得
weixin_47716911的博客
07-23 1512
文章来源 | 极链AI云（性价比最高的共享算力平台，助力你的技术成长～首次注册可获免费100小时GPU使用时长！官网地址：https://cloud.videojj.com/） 作者 | Chaser【极链AI云技术原创奖励计划】千元云币券获得者 原文地址 |调参心得（官网论坛）已获授权 实验效果校验心得 什么时候加augment，什么时候加multi-scale，学习率怎么设置？ 数据增强 个人体会是，验证性阶段过了之后，当你开始跑ablation study时，一定要注意数...
实验中GPU利用率低的可能的原因：
Hero_Never_GIVE_UP的博客
12-26 2万+
最近做实验利用率不知道为什么那么低，只有8%左右，固然有因为我每个批次的数据占用空间不大的原因，但是后来跑着跑着还莫名其妙的保错（之前用大batch做过验证试验，能跑完，没毛病），回溯问题如下： Traceback (most recent call last): File "run.py", line 91, in <module> siam.y_true: y_tr...
PyTorch~单机多卡
whaosoft143ai的博客
01-01 2284
在 1.0 之后，官方终于对分布式的常用方法进行了封装，支持 all-reduce，broadcast，send 和 receive 等等。通过 MPI 实现 CPU 通信，通过 NCCL 实现 GPU 通信。官方也曾经提到用。whaosoft aiot http://143ai.com
(14)关于PyTorch训练深度学习模型CPU/GPU使用率低，训练速度慢这一问题的总结
weixin_40227656的博客
08-16 1万+
电脑配置双2080Ti+i7-10700K，使用mobilenet-yolov4-lite训练VOC数据集时，训练100epochs要五六个小时，检测cpu和gpu的使用发现利用率都很低，说明没有充分使用电脑优秀的性能，两个显卡的使用率都分别只有20%-50%，查阅一些资料总结如下： １、参考：【深度学习】踩坑日记：模型训练速度过慢，GPU利用率低 上面作者指出四个提速技巧： 减少日志IO操作频率 使用pin_memory和num_workers 使用半精度训练 更好的显卡，更轻的模型 其中，第
CPU和GPU频率波动幅度
测试专家的专栏
12-16 3195
CPU自产生以来，在逻辑结构、运行效率以及功能外延上取得了巨大发展。从最初专用于数学计算到广泛应用于通用计算，从4位到8位、16位、32位处理器，最后到64位处理器，从各厂商互不兼容到不同指令集架构规范的出现，CPU 自诞生以来一直在飞速发展。cpu会根据当前工作负载自动调节频率高低和核心启停，每个核心的使用率会在1%~100%之间不停大幅变动，目的是在不影响性能的前提下节能，只有在运行非常占硬件性能的程序时cpu使用率才会稳定在一个较高的平滑的曲线上，平时都是大幅波动的。
显卡占用率低的问题，终于找到原因解决了
热门推荐
skyroach
01-07 27万+
一年前为了玩吃鸡游戏，自己组装了一台电脑，i7-8700的cpu，16G内存，240固态硬盘，GTX1070ti显卡，也还算是可以的配置，显示器和硬盘是本来就有的，就没有换新的。 主要是自己一直想组装一台电脑，苦于多种原因一直没有机会，终于把自己的电脑组装好了，当时还开心的很长一段时间。 组装好了后，直接就下载了吃鸡，进入游戏后，总是感觉有卡顿，查看fps只有40左右，最高的时候也不过才60，遇...
Pytorch采坑记录：DDP 损失和精度比 DP 差，多卡GPU比单卡GPU效果差
weixin_45667052的博客
12-21 2846
那么此时对于8GPU而言，效果几乎等于：：1GPU：学习率=0.1，batch_size=64 * 8=如果8GPU还按之前1GPU配置：8GPU：学习率=0.1，batch_size=这种8GPU情况下，batch_size等效变大，效果就差了，参考。转换DDP模型后模型的整体学习率和batch_size都要变。解决方法是调大学习率或者调小多卡GPU的batch_size。或者调小batch_size。比如上面调大学习率改为。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值