DataLoader, when num_worker >0, there is bug

最新推荐文章于 2024-04-23 23:21:34 发布
原创 最新推荐文章于 2024-04-23 23:21:34 发布 · 294 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了PyTorch中DataLoader的工作机制，特别是在num_workers设置为0时的行为。指出由于PyTorch采用懒初始化方式，实际文件打开操作必须在Dataset的getitem函数内进行。
【Pytorch】当num_workers ＞ 0时，程序卡住
a_piece_of_ppx的博客
07-29 948
问题描述：Dataloader设置num_workers > 0的时候，程序会在运行的某个时候卡住（随机的，不确定是什么时候）解决方案：在Dataloader中，加入。
Pytorch使用DataLoader, num_workers!=0时的内存泄露
AI的博客
10-08 2639
我在做一个超大数据集的多分类，设备Ubuntu 22.04+i9 13900K+Nvidia 4090+64GB RAM，第一次的训练的训练集有700万张，训练成功。找了很久的原因，发现内存随着训练step的增加而线性增加，猜测是内存泄露，最后定位到了DataLoader的num_workers参数（只要num_workers=0就没有问题）。Python中的list转换成tensor时，会发生内存泄漏，要避免list的使用，可以通过使用np.array来代替list。3.正确的重写Dataset方法（）
Pytorch dataloader中的num_workers (选择最合适的num_workers值)
热门推荐
hxxjxw的博客
08-09 4万+
num_workers是Dataloader的概念，默认值是0 如果num_worker设为0，意味着每一轮迭代时，dataloader不再有自主加载数据到RAM这一步骤（因为没有worker了），而是在RAM中找batch，找不到时再加载相应的batch。缺点当然是速度慢。 当num_worker不为0时，每轮到dataloader加载数据时，dataloader一次性创建num_worker个worker，并用batch_sampler将指定batch分配给指............
pytorch中DataLoader的num_workers
weixin_43955293的博客
07-15 1918
Question 一直很迷，在给Dataloader设置worker数量（num_worker）时，到底设置多少合适？这个worker到底怎么工作的？如果将num_worker设为0（也是默认值），就没有worker了吗？ worker的使用场景： from torch.utils.data import DataLoader train_loader = DataLoader(dataset=train_data, batch_size=train_bs, shuffle=True, num_wor
调用DataLoader时采用num_workers＞0导致数据加载出现阻塞问题的解决方法
qq_44876504的博客
04-09 915
调用DataLoader时采用num_workers＞0导致数据加载出现阻塞问题的解决方法
windows下pytorch的dataloader多进程（num_workers）问题，为何num_workers的值只能为0？
qq_64431512的博客
03-05 4603
windows下pytorch的dataloader多进程（num_workers）问题，为何只能为0？ RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not using fork to
dataloader numworkers
aaatomaaa的博客
04-02 1246
讲解dataloader中的numworker
精选资源
解决pytorch DataLoader num_workers出现的问题
01-20
最近在学pytorch,在使用数据分批训练时在导入数据是使用了 DataLoader 在参数 num_workers的设置上使程序出现运行没有任何响应的结果 ，看看代码 import torch #导入模块 import torch.utils.data as Data BATCH_...
ubuntu16 pytorch 设置DataLoader的参数 num_workers大于0时会报错
Vincent哥的博客
05-18 4452
报错信息如下： Exception ignored in: <function _MultiProcessingDataLoaderIter.__del__ at 0x7f7fc4a0f598> Traceback (most recent call last): File "/home/vincent/anaconda3/lib/python3.7/site-packages/torch/utils/data/dataloader.py", line 926, in __del__ .
pytorch中dataloader的num_workers参数
qq_40990057的博客
07-09 1万+
结论速递 在Windows系统中，num_workers参数建议设为0，在Linux系统则不需担心。 1 问题描述 在之前的任务超大图上的节点表征学习中，使用PyG库用于数据加载的DataLoader，ClusterLoader等类时，会涉及到参数num_workers。在不同系统环境试验该参数的设定值时，会出现不同的结果 colab（Linux），设为12 有warning message，提示num_workers参数设置不合理，不影响继续运行 /usr/local/lib/python3.7/di
Pytorch DataLoader中的num_workers (选择最合适的num_workers值)
CRW__DREAM的博客
01-16 1万+
Pytorch DataLoader中的num_workers (选择最合适的num_workers值)
dataloader下的num_worker
weixin_43512125的博客
03-18 2738
num-worker是， 是加载数据（batch）的线程数目，是通过影响数据加载速度，从而影响训练速度。 当加载batch的时间<数据训练的时间 既GPU训练完一组数据，可以直接从CPU调用next batch 数据， 不需要额外的worker，既增加一个worker也不会增加训练速度。 当加载batch的时间>数据训练的时间 GPU训练完一组数据后还要等待CPU加载数据， 若增加一个worker，当worker_1还没加载完毕，可以先调用worker_2的数据， 既增加了训练速度。 ...
# enumerate(data_loader)处报错
a493001894的博客
12-27 4575
enumerate(data_loader)处报错 问题关键词： UnicodeDecodeError: ‘utf-8’ codec can’t decode bytes in position 1022-1023: unexpected end of data enumerate(data_loader)报错 num_workers设置为大于1报错 在训练Swin-Transformer的时候突然出现这问题，让人很是烦，因为之前运行的时候还是好好地，突然就报错了，报错的位置就是enumerate(da
Pytorch ----- 数据集 (dataset) 数据加载器 (dataloader) num_workeres工作原理 及调整方法 ~~学习笔记
深度不学习！！的博客
11-09 4190
数据集 (dataset): 应该支持索引取数据 数据加载器 (dataloader)：主要用于拿出mini_batch 前几节使用数据直接将数据用文件加载，然后将所有数据都放进去。像这样。。。。。。 所有数据都放进去 叫batch。可以最大化向量计算优势(并行)，提高计算速度。 只用一个样本， 随机梯度下降，帮助克服鞍点问题。但训练时间过长 常用Mini_batch 均衡训练时间和性能的需求。 Mini-batch 循环使用: 嵌套循环，外层循环次数控制，内层每一次执行一个Mini_batch。每一
pytorch DataLoader的num_workers参数与设置大小
as_your_heart的博客
09-08 2543
每次dataloader加载数据时：dataloader一次性创建num_worker个worker，（也可以说dataloader一次性创建num_worker个工作进程，worker也是普通的工作进程），并用batch_sampler将指定batch分配给指定worker，worker将它负责的batch加载进RAM。一般情况下都是能找到的，因为batch_sampler指定batch时当然优先指定本轮要用的batch。所以num_workers的值依赖于 batch size和机器性能。
Pytorch Dataloder之num_workers(上篇：单进程加载器)
gy77
04-23 1873
3.2 先看_SingleProcessDataLoaderIter，单进程迭代器相比多进程迭代器整体逻辑会简单些，本文先讲单进程迭代器，后续会出一篇单独讲多进程迭代器。1. 在从dataloader中取数据时，先调用dataloader的__iter__方法，__iter__方法中，则会优先调用self._get_iterator()方法，返回一个迭代器的实例化对象。num_workers=1时，表示采用多进程方法加载数据，但是只有一个子进程，使用该子进程加载数据。
DataLoader的num_workers设置引起卡死/堵塞/报错，第一个epoch前几个iteration就卡住了，没有报错，内存不释放，GPU利用率为0
qq_42712462的博客
05-12 2204
“我的情况好像很特殊。系统是centos7，pytorch版本是1.8.0，我刚把这些软件装上时，运行了一下自己的训练代码，可以运行，没有问题。但是过了几天之后，再重新跑，就不行了，卡在了for i, data in enumerate(dataset, start=epoch_iter): print(i)，就卡在那里不动了，必须用kill命令来杀。我的代码中根本没有用到opencv，而且网上说的什么共享内存不足之类的，我查了下，根本不存在，我的共享内存才利用很小一部分。把num_workers设为0倒是
num_worker和batch_size的具体概念，，过大过小会出现什么问题，，为什么我使用num_worker>0会出现这个问题TypeError: can't pickle Environment objects
最新发布
09-29
<think>我们正在讨论两个主要概念：`num_workers` 和 `batch_size`，以及当设置 `num_workers>0` 时出现的 `TypeError: can't pickle Environment objects` 错误。 ### 一、概念解析 1. **`batch_size`**: - **定义**: 表示每次迭代中用于训练模型的样本数量。例如，若数据集有1000个样本，设置 `batch_size=100`，则一个完整周期（epoch）需要10次迭代。 - **数学表达**: $$ \text{迭代次数} = \left\lceil \frac{\text{样本总数}}{\text{batch\_size}} \right\rceil $$ - **影响**: - **过大**: 导致显存不足（OOM），但计算效率高且梯度更稳定[^2] - **过小**: 训练过程波动大，并行计算利用率低 2. **`num_workers`**: - **定义**: 数据加载时用于预读取数据的子进程数（默认为0，即主进程加载）。例如，`num_workers=4` 表示创建4个进程并行加载数据。 - **工作机制**（如图）: ```mermaid graph LR A[主进程] --> B[数据队列] subgraph workers C[worker1] --> B D[worker2] --> B E[...] --> B end B --> F[模型训练] ``` - **影响**: - **过大**: 进程切换开销增加，可能触发进程间通信（IPC）错误[^3] - **过小**: 数据加载成为训练瓶颈（GPU等待数据） ### 二、错误原因分析 当设置 `num_workers>0` 时出现 `TypeError: can't pickle Environment objects`，核心原因是**Python多进程序列化限制**： 1. **根本机制**: PyTorch的 `DataLoader` 使用 `pickle` 模块在进程间传递数据，但以下对象不可序列化： - 包含环境句柄的对象（如 `gym.Env`） - 文件描述符、数据库连接等 2. **错误触发场景**[^1]: ```python # 错误示例：自定义数据集包含不可序列化成员 class CustomDataset: def __init__(self): self.env = gym.make('Pendulum-v0') # 不可pickle! dataset = CustomDataset() dataloader = DataLoader(dataset, num_workers=4) # 触发错误 ``` ### 三、解决方案 #### 方法1：规避序列化（推荐） 修改数据集设计，避免在 `__init__` 中创建不可序列化对象： ```python class CustomDataset: def __init__(self): self.env_name = 'Pendulum-v0' # 仅存储参数 def __getitem__(self, idx): env = gym.make(self.env_name) # 每个worker内创建 return env.reset() ``` #### 方法2：延迟初始化 使用 `worker_init_fn` 在子进程初始化环境： ```python def init_worker(worker_id): worker_env = gym.make('Pendulum-v0') # 每个worker创建独立实例 dataloader = DataLoader( dataset, num_workers=4, worker_init_fn=init_worker # 传入初始化函数 ) ``` #### 方法3：单进程模式（临时方案） 设置 `num_workers=0`（牺牲速度保功能）[^3]： ```python dataloader = DataLoader(dataset, num_workers=0) # 主进程加载数据 ``` ### 四、参数选择建议 | 参数 | 推荐范围 | 调整依据 | |---------------|-------------------|------------------------| | `batch_size` | GPU显存的80% | `nvidia-smi` 监控 | | `num_workers` | CPU核心数的50~75% | `os.cpu_count()` 返回值 | > ⚠️ **注意事项**: Linux系统可通过 `/proc/sys/kernel/threads-max` 检查最大线程数，Windows使用 `sysinternals` 工具监控。 --- §§ 相关问题 §§ 1. 如何准确测量PyTorch数据加载的瓶颈？ 2. Python多进程编程中还有哪些常见的序列化陷阱？ 3. 分布式训练(DDP)与 `num_workers` 的关系是什么？ 4. 为什么GPU利用率会因数据加载而周期性下降？如何诊断？[^1] </think>### 📚 `num_workers` 与 `batch_size` 概念解析 #### 1. **核心概念** | **参数** | **定义** | **数学表示** | |----------------|--------------------------------------------------------------------------|----------------------------------------| | **`batch_size`** | 单次前向/反向传播处理的样本数量 | $ \text{迭代次数} = \lceil \frac{N}{B} \rceil $ <br>（$N$为总样本数，$B$为批大小） | | **`num_workers`** | 数据加载时用于并行预取数据的子进程数量（0表示主进程加载） | 无直接数学关系，但影响数据流水线效率 | #### 2. **参数过大/过小的影响** ##### 🔹 `batch_size` - **过小（如1-8）**: - ✅ 优点：显存需求低 - ❌ 缺点：梯度更新频繁噪声大，GPU利用率低 - 收敛速度：$ \nabla W \propto \frac{1}{\sqrt{B}} $（梯度噪声与$B^{1/2}$成反比[^2]） - **过大（如>1024）**: - ✅ 优点：梯度估计更稳定 - ❌ 缺点：显存易溢出(OOM)，可能陷入局部最优解 - 临界点：$ B_{\max} = \frac{\text{GPU显存}}{\text{单样本计算图大小}} $ ##### 🔹 `num_workers` - **过小（如0）**: - ✅ 优点：避免进程间通信(IPC)问题 - ❌ 缺点：CPU成为数据加载瓶颈，GPU空闲率高 - **过大（如>CPU核心数）**: - ✅ 优点：最大化数据吞吐 - ❌ 缺点：进程切换开销增加，可能触发序列化错误 - 最优值：$ W_{\text{opt}} = \min(\text{CPU核心数}, \text{内存带宽限制}) $ --- ### ⚠️ `num_workers>0` 触发 `TypeError` 的根源 #### 错误原因：**Python多进程序列化限制** 当 `num_workers>0` 时，PyTorch的 `DataLoader` 需通过 `pickle` 模块将数据/环境对象序列化后传递给子进程。以下对象不可序列化： 1. **环境对象（如 `gym.Env`）**: ```python # 错误示例：自定义数据集包含环境对象 class CustomDataset: def __init__(self): self.env = gym.make('Pendulum-v0') # 导致序列化失败[^1] ``` 2. **文件句柄/数据库连接**：打开的文件描述符无法跨进程传递 3. **动态生成的类/函数**：例如Lambda表达式 #### 错误触发流程（源码级） ```mermaid graph TD A[DataLoader创建] --> B{num_workers >0 ?} B -->|是| C[启动子进程] C --> D[尝试pickle传输dataset] D --> E{含不可序列化对象？} E -->|是| F[抛出 TypeError] ``` 关键源码位置： ```python # torch/utils/data/dataloader.py Line 904-918 w = multiprocessing_context.Process( target=_worker_loop, args=(self._dataset, ...) # 此处尝试序列化dataset[^1] ) w.start() # 序列化失败在此报错 ``` --- ### 🔧 解决方案 #### 1. **数据结构重构（根本解决）** ```python class SafeDataset: def __init__(self): # 存储环境参数而非实例 self.env_config = {'id': 'Pendulum-v0'} def __getitem__(self, idx): # 每个worker内部创建环境 env = gym.make(**self.env_config) return env.reset() ``` #### 2. **延迟初始化（推荐）** ```python def init_worker(worker_id): # 每个worker独立初始化环境 global worker_env worker_env = gym.make('Pendulum-v0') dataloader = DataLoader( dataset, num_workers=4, worker_init_fn=init_worker # 传入初始化函数[^3] ) ``` #### 3. **替代序列化方案（高级）** ```python import dill # 扩展pickle库 def serial_wrapper(data): return dill.dumps(data) # 支持更多对象类型 # 在DataLoader中使用 dataloader = DataLoader( dataset, collate_fn=serial_wrapper, num_workers=4 ) ``` #### 4. **临时规避方案** ```python dataloader = DataLoader(dataset, num_workers=0) # 关闭多进程[^3] ``` --- ### ⚖️ 参数选择黄金准则 | **场景** | **batch_size** | **num_workers** | |------------------------|----------------------|-----------------------| | GPU显存<8GB | 8-32 | CPU核心数/2 | | 大型图像数据集 | 32-128 | CPU核心数-2 | | RNN/LSTM模型 | 16-64（需padding） | 根据序列长度动态调整 | > 📌 **诊断工具**：使用 `torch.utils.bottleneck` 分析数据加载瓶颈 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值