深度学习【30】pytorch 自定义数据迭代器

DCD_Lin

于 2018-04-01 14:28:48 发布

阅读量2.5k

点赞数

分类专栏：深度学习

本文链接：https://blog.youkuaiyun.com/linmingan/article/details/79777948

版权

本文详细介绍了如何在PyTorch中创建自定义的数据迭代器，以高效地加载和处理大规模数据集。通过自定义数据迭代器，你可以更好地控制数据加载的流程，实现批量训练，并优化内存使用。内容涵盖数据预处理、批处理和多线程数据加载等关键点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

class myImageFloder(data.Dataset):
    def __init__(self,root,list，transform):#list:训练数据列表，比如：train.txt文件，每一行是一个训练样本
        fh = open(list)
        imgs=[]
        for line in fh.readlines():
            imgs.append(line.strip('\n'))
        self.root =root
        self.imgs = imgs
        self.transform=transform
        #transform：可以用来数据扩充，以及其他一系列操作。
        #本质上是通过transform对输入数据经过一系列的函数处理。

最低0.47元/天解锁文章