「Deep Learning」理解Pytorch中的「torch.utils.data」

最新推荐文章于 2025-05-29 16:17:02 发布

DTEO1345

最新推荐文章于 2025-05-29 16:17:02 发布

阅读量771

点赞数 1

CC 4.0 BY-SA版权

文章标签：小锋子深度学习 Pytorch

本文链接：https://blog.youkuaiyun.com/dgyuanshaofeng/article/details/80331503

本文详细介绍了PyTorch中DataLoader类的使用方法及其参数意义，包括如何通过设置shuffle和num_workers等参数来提高数据加载效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Sina Weibo：小锋子Shawn
Tencent E-mail：403568338@qq.com
http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/80331503

基于Pytorch 0.4.0
四、DataLoader
class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None)

文档解释。翻译为“数据载入器，结合数据集和采样器，并提供单进程或多进程迭代器”。
文档在此，torch.utils.data.DataLoader。
源代码在此，Source code for torch.utils.data.dataloader。

参数学习。
shuffle - 默认为False，所以通常要打开它，在学习每一轮数据集时，对数据进行洗牌。如果要用sampler，那么要关shuffle。
num_workers - 指进行数据载入所用的子进程的数量，默认为0，则由主进程进行数据载入，可设置为2，使用多线程。
pin_memory - 如果为真（True），在返回张量之前，数据载入器将复制张量（tensors）到CUDA pinned内存中。可能为了加速吧。在使用时，True状态会默认占用GPU 0的显存。False状态就不用显存了。（20180516）