pytorch用自己的数据集进行Dataloader，并对其划分数据集

老韩Han

于 2019-09-11 22:16:32 发布

阅读量1.2w

点赞数 8

分类专栏： pytorch 文章标签： pytorch中dataloader

本文链接：https://blog.youkuaiyun.com/weixin_40766438/article/details/100750633

版权

本文介绍了如何在PyTorch中自定义数据集，通过重写Dataset类，结合CSV文件加载图片与标签。接着，文章详细阐述了如何手动划分训练集和测试集，以及应用transform对数据进行预处理，并最终加载到Dataloader中进行训练。在实践中，作者遇到了random_split的问题，但最终成功解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在学pytorch，今天晚上用pytorch的数据加载部分，一开始一直在纠结怎么划分数据集，后来还是手动分了，开始是用torch.utils.data.random_split但是后来一直报错，我也不知道哪里有错，解决不了，后来暴力解决了

1.重写dataset类，这是必须要写的

主要继承Dataset类，重写__getitem__,and __len__的方法
我的问题：针对一个文件夹有n张图片，然后一个csv文件中有每个图片对应的label，具体样式如下

步骤1：将image和label对应加载到一个数据集中

class SkinDataset(Dataset):
    def __init__(self,csv_file,root_dir,transform=None):
        self.csv=pd.read_csv(csv_file)
        self.root_dir=root_dir
        self.transform=transform
    def __len__(self):
        return len(self.csv)
    def __getitem__(self,idx):
        image_path=os.path.join(self.root_dir+self.csv.ix[idx,0]+'.jpg')