关于pytorch自定义数据的读取

关于pytorch 提供的数据读取接口 和 自定义数据的读取

Dataset Dataloader DataLoaderIter 的用法

pytorch提供了一个读取数据的接口torch.utils.data.DataLoader()，并对几种常见数据集的读取进行了封装，但有时候需要对一些数据集按照自己的需求进行封装，所以需要自己进行重构，一般主要是实现自己的Dataset类。

主要关系：Dataset作为参数传入DataLoader，我们在调用DataLoader时，DataLoader调用DataLoaderIter把自己封装成迭代器供我们使用。

1.Dataset

Dataset类 需要含有 _getitem_ 和 _len_ 两个方法，getitem 函数需要返回图片数据和图片标签信息， __len__返回数据大小

2.Dataloader

Dataset 类的对象作为DataLoader的一个参数，DataLoader在__iter__成员方法中将自己传入DataLoaderIter()进行封装

3.DataLoaderIter（版本原因也有可能是_DataLoaderIter）

DataLoaderIter这个类主要是将DataLoader的对象进行封装，按照传入参数（例如批大小，是否多进程等）的要求封装成一个迭代器，含有__iter__ 和 __next__成员方法。

下面是Dataset类的基本构造

#需要继承Dataset类
class ProcessingDataset(Dataset):
    def __inti__(self, data_path, 等等, transform = None):
        #根据传入的参数进行初始化
    
    def __getitem__(self, index):
        #获取图片数据和标签信息，并返回
        return img, label
        
    def __len__(self): 
        #返回数据集的大小
        retuen xxx