PyTorch 中的数据类型 torch.utils.data.DataLoader

summer_wbb

于 2019-04-16 15:32:09 发布

阅读量3.7k

点赞数 1

分类专栏：程序人生文章标签： PyTorch

本文链接：https://blog.youkuaiyun.com/weixin_41605888/article/details/89334067

版权

PyTorch的DataLoader是用于数据加载的关键接口，它将数据按batch size封装成Tensor，提供迭代器。常用参数包括dataset、batch_size、shuffle、collate_fn等。DataLoader允许设置num_workers以利用多进程加速数据预处理，pin_memory选项能提升GPU效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文记录博主学习心得，如理解有误，请及时指正交流哦。THANKS!

DataLoader是PyTorch中的一种数据类型。

PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口，该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor。（方便产生一个可迭代对象(iterator)，每次输出指定batch_size大小的Tensor）
dataloader.py脚本的的github地址：https://github.com/pytorch/pytorch/blob/master/torch/utils/data/dataloader.py

代码一般是这么写的：

# 定义学习集 DataLoader

train_data = torch.utils.data.DataLoader(各种设置...) 

# 将数据喂入神经网络进行训练

for i, (input, target) in enumerate(train_data): 
    循环代码行..

最低0.47元/天解锁文章