深度学习【30】pytorch 自定义数据迭代器

最新推荐文章于 2025-08-08 19:42:35 发布

原创

最新推荐文章于 2025-08-08 19:42:35 发布 · 2.5k 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了如何在PyTorch中创建自定义的数据迭代器，以高效地加载和处理大规模数据集。通过自定义数据迭代器，你可以更好地控制数据加载的流程，实现批量训练，并优化内存使用。内容涵盖数据预处理、批处理和多线程数据加载等关键点。

class myImageFloder(data.Dataset):
    def __init__(self,root,list，transform):#list:训练数据列表，比如：train.txt文件，每一行是一个训练样本
        fh = open(list)
        imgs=[]
        for line in fh.readlines():
            imgs.append(line.strip('\n'))
        self.root =root
        self.imgs = imgs
        self.transform=transform
        #transform：可以用来数据扩充，以及其他一系列操作。
        #本质上是通过transform对输入数据经过一系列的函数处理。
        #详细的可参考pytorch的transform