pytorch的data_loader

最新推荐文章于 2025-10-25 12:34:27 发布

原创最新推荐文章于 2025-10-25 12:34:27 发布 · 2k 阅读

2 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

38 篇文章

订阅专栏

本文详细介绍了PyTorch中DataLoader的使用方法及其参数设置，包括如何定义训练数据集（trainset）、设置批次大小（batch_size）、是否打乱数据顺序（shuffle）等。此外还解释了如何利用transforms.Compose()函数来指定数据预处理方法。

train_loader = DataLoader(trainset,
                          batch_size=batch_size,
                          shuffle=True,
                          num_workers=num_workers,
                          pin_memory=True,
                          drop_last=True)

首先 DataLoader 为pytorch 内部类，此时只需要指定trainset， batch_size， shuffle， num_workers, ...等

最需要说名的为trainset：

trainset = Dataset(data_file=train_list,
                   data_dir=train_dir,
                   transform_trn=composed_trn,
                   transform_val=composed_val)

其中，data_file必须为图片文件名列表， data_dir为图片根目录， transform_trn为数据预处理方法，通过pytorch自带了