关于训练模型时num_workers和batch_size的设置匹配

于 2024-07-09 09:11:00 发布
阅读量434 收藏 1
点赞数 3
文章标签： batch 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45273354/article/details/140285508
版权

我的cpu是i7，gpu是4090d，之前跑代码一直会蓝屏，按照网上的意见调低batch_size和num_workers。发现batch_size越低，cpu占用率越高，而gpu占用率百分之一都不到。

我的想法是batch_size调低，gpu处理一次batch就更加轻松，对下一个batch的需求就更加渴望，那么负责dataloader的cpu就会不停歇地处理和加载数据喂给gpu。所以干脆把batch_size拉到很高，让gpu处理一批数据的速度不要太快，那么cpu加载数据也就更加游刃有余。按照这个想法，果然cpu的占用率降了特别多，而且训练速度更快了。

向山
关注
训练代码中num_worker的设置
qq_43199575的博客
10-25 7119
上述代码，先得到cpu的最大核心数，再把num_worker从2、4、6、8…经实验发现，并不是num_worker越大，它的时间越少；并且，batchsize或图像尺寸的改变，也会改变其时间最少的num_worker值（如当batchsize=64，时间最少的num_worker为12；当batchsize=128时，时间最少的num_worker为8）。在此给出一个参考代码，通过设置的batchsize、图片尺寸与数据集的制作与加载，来查看哪个num_worker最快。
如何使用小的显存训练大的batch_size- PyTorch梯度累积训练实战：代码解析与优化技巧
东方佑
09-16 702
梯度累加算法具体选则几倍batch_size,还要自己去进行测试自己的网络 请参考本人的梯度累加对准确率的影响，选择适合自己的训练参数
【Epoch, Batch(batchsize), Iteration,num_workers（3）】number of training epochs,iteration,batch-size
Hali_Botebie的博客
08-24 2179
概念 （1）iteration：表示1次迭代（也叫training step），每次迭代更新1次网络结构的参数； （2）batch-size：1次迭代所使用的样本量； （3）epoch：1个epoch表示过了1遍训练集中的所有样本。 值得注意的是，在深度学习领域中，常用带mini-batch的随机梯度下降算法（Stochastic Gradient Descent, SGD）训练深层结构，它有一个好处就是并不需要遍历全部的样本，当数据量非常大时十分有效。此时，可根据实际问题来定义epoch，例如定义1000
在进行yolov8模型训练时batch和workers如何平衡？
Hardworkingflx的博客
04-11 7572
在进行YOLOv8或任何深度学习模型的训练时，`batch size`和`workers`的设置是两个重要的参数，它们直接影响到训练的效率和效果。更多的`workers`可以加快数据的加载速度，从而减少GPU等待数据的时间，提高训练效率。对于较大的模型或较复杂的数据增强流程，可能需要相对较小的`batch size`或更多的`workers`。2.实验调整：没有一套适用于所有情况的设置，最佳的`batch size`和`workers`数量通常需要根据具体的硬件配置和数据集通过实验来确定。
dataloader合理设置num_works和batchsize 避免爆内存
qq_41917697的博客
03-11 1万+
dataloader合理设置num_works和batchsize，避免爆内存1.内存2.显存总结 个人总结，禁止以任何形式的转载！！ 1.内存 1)dataloader会开启num_works个进程，如图所示：（这里设置的是6） 2)以图片为例，每个worker通过主进程获得自己需要采集的图片id(id的顺序由sampler或shuffle得到)。然后每个worker开始采集一个batch的数据，存放在内存中。(因此增大num_workers，内存占用也会增加。因为每个worker都需要缓存一个bat
深度学习：batch_size和学习率 及如何调整
热门推荐
皮皮blog
10-21 4万+
-柚子皮- 学习率衰减 import torch.optim as optim from torch.optim import lr_scheduler # 训练前的初始化 optimizer = optim.Adam(net.parameters(), lr=0.001) #学习率衰减 scheduler = lr_scheduler.StepLR(optimizer, 10, 0.1) # # 每过10个epoch，学习率乘以0.1 # 训练过程中 for n in n_epoch: ...
技巧-GPU显存和利用率如何提高和batch_size/num_works等参数的实验测试
zwhdldz的博客
11-30 1万+
在PyTorch中使用多个GPU进行模型训练时，各个参数和指标之间存在一定的关系。GPU显存是限制模型训练规模的关键因素。当使用多个GPU进行训练时，每个GPU都会分配一部分显存用于存储中间变量、梯度、权重等。GPU显存的使用量取决于模型的复杂度、批量大小（batch size）以及数据类型等因素。举例：假设我们使用两个GPU（GPU 0和GPU 1）进行训练，每个GPU的显存为12GB。若批量大小为32个样本，模型复杂度为中等，则每个GPU可能需要大约4GB的显存。
detr训练自己数据batch_size在哪改
03-20
还要注意是否涉及分布式训练，因为如果用了DistributedSampler，可能需要同步修改其他参数，比如num_workers或者GPU的相关设置。此外，引用[3]提到过参数不匹配的问题，如果batch_size调整后影响到了模型的某些层，...
接下来我会给出一段代码，请理解这段代码的逻辑，并且仿照其将其改变为医疗图像分析 代码如下： from __future__ import print_function, division import numpy as np import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torch.autograd import Variable from torch.utils.data import Dataset from torchvision import transforms, datasets, models from Dataloader import DogCatDataSet # 配置参数 random_state = 1 torch.manual_seed(random_state) # 设置随机数种子，确保结果可重复 torch.cuda.manual_seed(random_state) torch.cuda.manual_seed_all(random_state) np.random.seed(random_state) # random.seed(random_state) epochs = 30 # 训练次数 batch_size = 16 # 批处理大小 num_workers = 4 # 多线程的数目 use_gpu = torch.cuda.is_available() # 对加载的图像作归一化处理， 并裁剪为[224x224x3]大小的图像 data_transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), ]) train_dataset = DogCatDataSet(img_dir="/mnt/d/深度学习1/train", transform=data_transform) train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=4) test_dataset = DogCatDataSet(img_dir="/mnt/d/深度学习1/test", transform=data_transform) test_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=4) # 加载resnet18 模型， net = models.resnet18(pretrained=False) num_ftrs = net.fc.in_features net.fc = nn.Linear(num_ftrs, 2) if use_gpu: net = net.cuda() print(net) # 定义loss和optimizer cirterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.0001, momentum=0.9) # 开始训练 net.train() for epoch in range(epochs): running_loss = 0.0 train_correct = 0 train_total = 0 for i, data in enumerate(train_loader, 0): inputs, train_labels = data if use_gpu: inputs, labels = Variable(inputs.cuda()), Variable(train_labels.cuda()) else: inputs, labels = Variable(inputs), Variable(train_labels) # inputs, labels = Variable(inputs), Variable(train_labels) optimi
最新发布
04-03
可能遇到的问题包括：输入通道不匹配，需要修改模型的第一层卷积；类别数变化导致的全连接层尺寸问题；数据增强策略是否合适；以及是否需要使用预训练权重等。需要逐一解决这些问题，并在回答中给出解决方案。以下是...
关于dataloader设置num_works和batchsize最佳方法
hirocyh的博客
05-16 6293
我是参照了这两个大佬的 1.dataloader合理设置num_works和batchsize https://blog.youkuaiyun.com/qq_41917697/article/details/114663331 2.Pytorch之DataLoader的num_works参数设置 https://blog.youkuaiyun.com/qq_41196472/article/details/106393994?utm_source=app&app_version=4.7.1&code=app_156
深度学习训练中的GPU利用率和显存占用问题、num_workers&batch_size设置问题
weixin_46515047的博客
03-26 1万+
目录前言GPU显存GPU利用率batch_size不能选取过大来占据显存总结 前言 在跑数据集时碰到了GPU利用率浮动的问题，上网查了查解决方案。随手看了一下相关内容。。。深度学习就那么几个参数，调多了总能碰到合适的吧。 但我的GPU利用率浮动问题仍然没解决（50%-100%之间） GPU显存 占GPU显存的主要是两部分，一是模型网络的加载，而是batch_size大小的设置。模型的加载很难控制（但是考虑到部署的话就要考虑模型加载需要的显存问题了），一般调节batch_size来控制显存的占用（若出现out
Pytorch采坑记录：每隔num_workers个iteration数据加载速度很慢
撸猫写博客
01-19 7711
  最近在做某个视觉任务的模型训练，由于数据量比较少为了效果好一点，决定现在imagenet上pretrain一下骨干网络。但是在训练的时候遇到了一个问题：每隔num_workers个iteration数据加载都很慢，通过查找资料和代码搞清了这个问题。 背景   设计了一个网络做目标检测，骨干网络是自己diy的因此没有pretrain的模型。而目标检测的数据集比较小，为了把模型训的好一点决定现把骨干网络搭一个分类头做个分类模型，在ImageNet上面pretrain一下。于是乎下载了imagenet的数据集
【笔记】DataLoader类构造函数的参数：num_workers、pin_memory、drop_last、timeout等
nyist_yangguang的博客
10-12 2925
DataLoader是PyTorch中的一种数据类型。 在PyTorch中训练模型经常要使用它，那么该数据结构长什么样子，如何生成这样的数据类型？ 下面就研究一下： 先看看 dataloader.py脚本是怎么写的（VS中按F12跳转到该脚本） __init__（构造函数）中的几个重要的属性： 1、dataset：（数据类型 dataset） 输入的数据类型。看名字感觉就像是数据库，C#里面也有dataset类，理论上应该还有下一级的datatable。这应当是原始数据的输入。PyTo...
关于yolov5训练时参数workers和batch-size的理解
flamebox的博客
02-18 4万+
关于yolov5训练时参数workers和batch-size的理解yolov5训练命令workers和batch-size参数的理解两个参数的调优总结 yolov5训练命令 python .\train.py --data my.yaml --workers 8 --batch-size 32 --epochs 100 yolov5的训练很简单，下载好仓库，装好依赖后，只需自定义一下data目录中的yaml文件就可以了。这里我使用自定义的my.yaml文件，里面就是定义数据集位置和训练种类数和名字。
Java内存中的堆和栈
ZhaoSimonone的博客
05-04 626
本文介绍了Java内存中的堆和栈
【Pytorch在win系统下解决num_workers不等于0】
wm199的博客
09-02 1618
num_workers,RuntimeError: DataLoader worker (pid(s) 23140) exited unexpectedly
深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析
anshiquanshu的专栏
01-18 1万+
在深度学习模型训练过程中，在服务器端或者本地pc端，输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）。往往会发现很多问题，比如，GPU内存占用率低，显卡利用率低，CPU百分比低等等。接下来仔细分析这些问题和处理办法。 1. GPU内存占用率问题 这往往是由于模型的大小以及batch size的大小，来影响这个指标。当你发下你的GPU占用率很小的时候...
caffe+报错︱深度学习参数调优杂记+caffe训练时的问题+dropout/batch Normalization
Good As You
04-27 2370
一、深度学习中常用的调节参数 本节为笔者上课笔记（CDA深度学习实战课程第一期） 1、学习率 步长的选择：你走的距离长短，越短当然不会错过，但是耗时间。步长的选择比较麻烦。步长越小，越容易得到局部最优化（到了比较大的山谷，就出不去了），而大了会全局最优 一般来说，前1000步，很大，0.1；到了后面，迭代次数增高，下降0.01，再多，然后再小一些。  2、
模型调参——让模型一次跑多个参数的结果
风也温柔☆的博客
05-16 787
跑深度学习代码的时候，需要调多个参数来得到最好的效果。比如：模型可能需要调节 学习率，epoch，batch等超参数。通俗的说，之前是我们调节一个参数值后，让模型跑一次得到实验结果。再调节参数，让模型再跑一次。现如今，我们不想一个参数一个参数的调，费事，我们想让模型只跑一次，就可以得到多个参数的实验结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值