data.DataLoader 数据丢失不能复用

最新推荐文章于 2025-08-19 17:41:15 发布

AI算法网奇

最新推荐文章于 2025-08-19 17:41:15 发布

阅读量3.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： pytorch知识宝典

本文链接：https://blog.youkuaiyun.com/jacke121/article/details/81286936

pytorch知识宝典专栏收录该内容

512 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

当num_workers设置为8时，多进程并行读取数据提升速度，但导致数据缓存丢失，每次加载都需要重新读取。若要保留数据缓存，需将num_workers设为0。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如果num_workers设置为8，为8个进程同时读取数据，读取每一个会快点

但是dataset想做数据缓存就没有了，每次都会丢失，重新读数据。

如果想做缓存，num_workers就需要设置为0

data_loader = data.DataLoader(dataset, cfg.TRAIN_BATCH_SIZE, num_workers=8,#cfg.NUM_WORKERS,
                          shuffle=True, collate_fn=detection_collate, pin_memory=True)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AI算法网奇

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

“警告：‘data.DataLoader‘ 已弃用，请使用 ‘loader.DataLoader‘ 替代“

YovcGit的博客

09-20

301

在深度学习领域的代码实现中，我们常常会遇到一些提示或警告信息。这些提示信息是编程框架为了提醒开发者使用更加优化的方式进行操作而发出的。其中一个例子就是上述的警告信息。在本文中，我们将详细探讨这个警告的意义以及相应的解决方案。

AI算力网络与通信领域数据传输的新兴技术应用

AI天才研究院

07-05

1072

在人工智能与大数据爆发式增长的时代，AI算力需求呈指数级上升，对通信网络的数据传输能力提出了前所未有的挑战。本文深入探讨了AI算力网络与通信领域数据传输的协同发展，剖析了从光通信到量子通信的新兴传输技术如何支撑AI算力需求，以及AI技术如何反过来优化网络传输效率。我们将通过生动的比喻、详实的技术解析和实际案例，展示这一交叉领域的创新应用与未来趋势，为技术从业者、决策者和爱好者提供一份全面而深入的指南。想象一下，2012年时，训练一个最先进的AI模型可能只需要几千张图片和一台普通服务器几天的时间。

参与评论您还未登录，请先登录后发表或查看评论

pytorch中DataLoader读不出数据但是又没有报错的情况

weixin_43785343的博客

09-16

2247

今天学习pytorch，数据预处理的时候，将dataset的数据打包之，用dataloader进行封装后，进行测试，但是却一直读不出数据的数值，在此记录一下，虽然感觉是比较小的问题，但是大家在代码调试的时候可能也会先让程序读取小部分的数据看看输出结果，希望大家可以避开这个小问题。

PyTorch中 torch.utils.data.DataLoader 的详细解析和读取点云数据示例

qq_36812406的博客

05-29

1385

变长数据（如文本、点云）或特殊处理需求# 假设每个样本是 list 或 tensor（变长）collate_fn。

Pytorch自定义Dataset和DataLoader去除不存在和空数据的操作

Graceying的博客

05-11

706

Pytorch自定义Dataset和DataLoader去除不存在和空数据的操作

解决DataLoader产生的数据全是零的问题

小峥嵘(〃'▽'〃)=>猪头代码

04-15

2430

产生这个的主要原因是DataLoader无法处理GPU内的数据，只能使用CPU处理，故在Dataset中的__getitem__函数的返回值只能是cpu中的数据

数据预处理——dataloader返回值

weixin_45957127的博客

11-08

1587

使用CIFAR10数据集，dataloader的batchsize为4DataLoader 中，每次调用（例如 for data in dataloader）将（这里一个批次包含四个数据）。根据定义的数据集的样式，这些元组可能包含一个或多个数据集的输入和目标（这里是四个)，返回时是将imgs一起打包返回，不是一个img一个target打包返回。dataloder的数据排列结构如下（按顺序取数据）

YOLOV5代码精度之训练部分（train.py）

浩瀚之水的专栏

09-27

2314

这些都是用户自定义的库，由于上一步已经把路径加载上了，所以现在可以导入，这个顺序不可以调换。这个是测试集，我们下一篇再具体讲实验性质的代码，包括MixConv2d、跨层权重Sum等yolo的特定模块，包括BaseModel，DetectionModel，ClassificationModel，parse_model等定义了自动生成锚框的方法定义了自动生成批量大小的方法定义了回调函数，主要为logger服务dateset和dateloader定义代码谷歌云盘内容下载。

训练数据转 LMDB 格式：必要性解析与核心优势全指南

最新发布

weixin_41413777的博客

08-19

1063

训练数据转 LMDB 格式：必要性解析与核心优势全指南

【数据处理与管理】：Open-MMLab低版本中的数据处理与管理技巧（数据大师）

![【数据处理与管理】：Open-MMLab低版本中的数据处理与管理技巧（数据大师）]...在数据管理方面，Open-MMLab 提供了一套统一的框架，旨在简化数据处理流程，同时支持多样化的数据集格式和

el-tab 内容每次重新加载_[Detectron2] 03-数据加载模块(dataloader)

weixin_39835607的博客

11-29

275

在上一部分的内容中，我们已经介绍了如何建立一个detectron2的开发环境，现们就可以开始来学习其中相关的细节了。在今天的这部分内容中，我们主要会介绍detectron2中和数据加载相关的内容。从数据加载开始，是基于以下几个考虑： 1、dataloader 模块相对比较独立，比较好理解2、模型部分相对复杂，开坑了就没完没了...3、老司机肯定知道，其实一般模型都是不怎么动的，学学怎么动datal...

GraphQL（三）DataLoader 详解

若明天不见

04-29

2169

本文为GraphQL DataLoader详解，主要包括批处理及缓存的相关内容。DataLoader是一个通用实用程序，用作应用程序数据获取层的一部分，通过和为各种远程数据源（如数据库或 Web 服务）提供简化且一致的 API

Java-DataLoader 开源项目教程

gitblog_00368的博客

08-19

291

Java-DataLoader 开源项目教程 1. 项目的目录结构及介绍 Java-DataLoader 项目的目录结构如下： java-dataloader/ ├── src/ │ ├── main/ │ │ ├── java/ │ │ │ ├── org/ │ │ │ │ ├── dataloader/ │ │ │ │ │ ├── B...

pytorch锁死在dataloader（训练时卡死）

热门推荐

qq_32526087的博客

05-26

1万+

1.问题描述 2.解决方案（1）Dataloader里面不用cv2.imread进行读取图片，用cv2.imread还会带来一系列的不方便，比如不能结合torchvision进行数据增强，所以最好用PIL 里面的Image.open来读图片。（并不适用本例）（2）将DataLoader 里面的参变量num_workers设置为0，但会导致数据的读取很慢，拖慢整个模型的训练。（并不适用本例）（3）如果用了cv2.imread，不想改代码的，那就加两条语句，来关闭Opencv的多线程：cv2.setNu

解决UserWarning: ‘data.DataLoader‘ is deprecated, use ‘loader.DataLoader‘ instead warnings.warn(out)

m0_62165705的博客

09-21

1972

解决UserWarning: 'data.DataLoader' is deprecated, use 'loader.DataLoader' instead warnings.warn(out)

torch.utils.data.dataloader中DataLoader函数的用法

weixin_52261094的博客

12-20

908

torch.utils.data.dataloader中DataLoader函数的用法

Pytorch dataloader加载的数据全0的原因

乐趣是人为构建的，构建是一种莫大的乐趣。

08-07

639

loader加载的数据全0的原因是 train loader Num worker不等于0。

保存dataloader状态恢复中断训练

菜狍的博客

07-09

796

对于pytorch恢复一个epoch中的中断的训练时，通常dataloader都会从头加载，对于大型数据集不友好，loss又重新下降了这时候可以自定义sampler 调用dataloader时传入自定义sampler，指定恢复的step 就可以啦！ref 也可以用笨方法，空跑到指定的step：...

一行代码打印dataloader中数据集dataset大小

Never Give Up

07-18

182

容易与batchsize加载dataloader搞混。

为什么不用torch.utils.data.dataloader.DataLoader

08-23

有几个原因可以选择不使用 `torch.utils.data.dataloader.DataLoader`。首先，`torch.utils.data.dataloader.DataLoader` 是 PyTorch 提供的一个非常方便的数据加载器，适用于大多数的数据加载场景。但是，可能存在...

data.DataLoader 数据丢失 不能复用

data.DataLoader 数据丢失不能复用