pytorch学习笔记-num_workers的设置

最新推荐文章于 2025-04-04 04:10:35 发布
最新推荐文章于 2025-04-04 04:10:35 发布
阅读量1.6w 收藏 57
点赞数 18
分类专栏： 深度学习 文章标签： python 爬虫 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40379132/article/details/124823027
版权

示例:

from torch.utils.data import DataLoader

train_loader = DataLoader(dataset=train_data, batch_size=batch, shuffle=True, num_worker=4)
valid_loader = DataLoader(dataset=valid_data, batch_size=batch, num_worker=4)

1、num_workers是加载数据（batch）的线程数目

num_workers通过影响数据加载速度，从而影响训练速度。每轮dataloader加载数据时：dataloader一次性创建num_worker个worker，worker就是普通的工作进程，并用batch_sampler将指定batch分配给指定worker，worker将它负责的batch加载进RAM。然后，dataloader从RAM中找本轮迭代要用的batch，如果找到了，就使用。如果没找到，就要num_worker个worker继续加载batch到内存，直到dataloader在RAM中找到目标batch。

num_worker个worker  -->  RAM

了解本专栏 订阅专栏 解锁全文 超级会员免费看
训练代码中num_worker的设置
qq_43199575的博客
10-25 7126
上述代码，先得到cpu的最大核心数，再把num_worker从2、4、6、8…经实验发现，并不是num_worker越大，它的时间越少；并且，batchsize或图像尺寸的改变，也会改变其时间最少的num_worker值（如当batchsize=64，时间最少的num_worker为12；当batchsize=128时，时间最少的num_worker为8）。在此给出一个参考代码，通过设置的batchsize、图片尺寸与数据集的制作与加载，来查看哪个num_worker最快。
pytorch中dataloader的num_workers参数
qq_40990057的博客
07-09 1万+
结论速递 在Windows系统中，num_workers参数建议设为0，在Linux系统则不需担心。 1 问题描述 在之前的任务超大图上的节点表征学习中，使用PyG库用于数据加载的DataLoader，ClusterLoader等类时，会涉及到参数num_workers。在不同系统环境试验该参数的设定值时，会出现不同的结果 colab（Linux），设为12 有warning message，提示num_workers参数设置不合理，不影响继续运行 /usr/local/lib/python3.7/di
num_workers设置
热门推荐
Drug discovery
01-07 1万+
在windows运行程序时，设置num_workers的时候，设置太大的num_workers往往会出现错误，此时网上经常推荐设置num_workers=0，但是我实验发现num_workers=1会更好，且不发生错误，以下的图可以看到，为0时会导致GPU负载不均衡，但是1会使使用率大大提高 ...
深度学习篇---num_works选择
最新发布
道阻且长，行则将至。
04-04 1334
在 PyTorch 的 DataLoader 中，num_workers参数控制数据加载时的并行子进程数量。合理选择该参数可以显著提升数据加载效率，避免训练瓶颈。默认推荐：从开始，逐步增加并观察训练速度。
num_workers
shajie的博客
08-03 4954
pytorch中num_work的使用方法
Pytorch dataloader中的num_workers (选择最合适的num_workers值)
weixin_43960370的博客
04-11 3892
是告诉DataLoader实例要使用多少个子进程进行数据加载(和CPU有关，和GPU无关)如果num_worker设为0，意味着每一轮迭代时，dataloader不再有自主加载数据到RAM这一步骤（因为没有worker了），而是在RAM中找batch，找不到时再加载相应的batch。缺点当然是速度慢。当num_worker不为0时，每轮到dataloader加载数据时，dataloader一次性创建num_worker个worker，并用。
记录一种设置num_workers的方法，可以有效提高训练效率！
qq_43449643的博客
04-27 1178
亲测，num_workers这样设置可以节省很多训练时间。本人的cpu是i9-13900k, 按理可以将num_workers拉到20以上，但是通过实验证明，num_workers的设置不是越大越好。设置的大反而会拖慢训练，我按照上面的设置，一个epoch跑59s，如果设置为20，反而训练了90s，这相差还是蛮大的！我觉得应该是因为我的batchsize比较小，设置那么多进程数反而是加大开销！
学习pytorch笔记--CNN
wenyiweiyuan的博客
11-12 1748
有部分转载，且为代码小白
PyTorch学习笔记-7.PyTorch训练技巧
ruoqi23的博客
08-03 2634
7.PyTorch训练技巧 7.1.模型保存与加载 保存： torch.save 主要参数： • obj：对象 • f：输出路径 保存分为两种模式： 1:保存整个Module，即保存了整个模型的框架和参数 torch.save(net, path) 2:保存模型参数，即只保存模型的参数，下次使用时需要自己重新构建框架 state_dict = net.state_dict() torch.save(state_dict , path) 加载： 2. torch.load 主要参数 • f：..
PyTorch学习笔记-2.PyTorch数据处理
ruoqi23的博客
08-03 5445
2.PyTorch数据处理 2.1.数据读取 机器学习模型训练步骤分为：数据，模型，损失函数，优化器，迭代训练 首先是数据，又可以分为：数据收集，数据划分，数据读取，数据预处理 DataLoader就是用来进行数据读取的。 torch.utils.data.DataLoader 功能：构建可迭代的数据装载器 • dataset: Dataset类，决定数据从哪读取及如何读取 • batchsize :批大小 • num_works:是否多进程读取数据 • shuffle:每个epoc...
Num_workers是加载数据（batch）的线程数目
weixin_47414581的博客
12-15 2454
dataloader一次性创建num_worker个worker，（也可以说dataloader一次性创建num_worker个工作进程，worker也是普通的工作进程），2. num_workers = 1表示只有一个worker进程用来加载batch数据，而主进程是不参与数据加载的。5. 最好的办法是缓慢增加num_workers，直到训练速度不再提高，就停止增加num_workers的值。将指定batch分配给指定worker，worker将它负责的batch加载进RAM。
pytorch中num_workers详解
码匀的博客
09-08 3535
下面代码是计算如何找到本机的最佳num_workers: import time import torch.utils.data as d import torchvision import torchvision.transforms as transforms if __name__ == '__main__': BATCH_SIZE = 100 transform = transforms.Compose([transforms.ToTensor(), ..
Pytorch Dataloder之num_workers(上篇：单进程加载器)
gy77
04-23 1572
3.2 先看_SingleProcessDataLoaderIter，单进程迭代器相比多进程迭代器整体逻辑会简单些，本文先讲单进程迭代器，后续会出一篇单独讲多进程迭代器。1. 在从dataloader中取数据时，先调用dataloader的__iter__方法，__iter__方法中，则会优先调用self._get_iterator()方法，返回一个迭代器的实例化对象。num_workers=1时，表示采用多进程方法加载数据，但是只有一个子进程，使用该子进程加载数据。
Python Dataloader 多进程报错 num_workers参数设置
欢迎关注，共同进步！
12-12 5942
该报错一般发生在Windows系统中使用多进程。比如在Pycharm中执行如下代码： import torch import torch.utils.data as Data import numpy as np from sklearn.datasets import load_iris iris_x, irisy = load_iris(return_X_y=True) print("iris_x.dtype:", iris_x.dtype) print("irisy:", irisy.dtype
pytorch DataLoader的num_workers参数与设置大小
as_your_heart的博客
09-08 2167
每次dataloader加载数据时：dataloader一次性创建num_worker个worker，（也可以说dataloader一次性创建num_worker个工作进程，worker也是普通的工作进程），并用batch_sampler将指定batch分配给指定worker，worker将它负责的batch加载进RAM。一般情况下都是能找到的，因为batch_sampler指定batch时当然优先指定本轮要用的batch。所以num_workers的值依赖于 batch size和机器性能。
技巧-PyTorch中num_works的作用和实验测试
zwhdldz的博客
11-28 1969
在 PyTorch 中，num_workers 是 DataLoader 中的一个参数，用于控制数据加载的并发线程数。它允许您在数据加载过程中使用多个线程，以提高数据加载的效率。具体来说，num_workers 参数指定了 DataLoader 在加载数据时将创建的子进程数量。当 num_workers 大于 0 时，DataLoader 会自动利用多个子进程来加速数据加载。这有助于减少主进程的等待时间，并使得数据加载更加并行化。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一只小小的土拨鼠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值