深度学习(17)--DataLoader自定义数据集制作

最新推荐文章于 2025-06-24 16:02:16 发布

GodFishhh

最新推荐文章于 2025-06-24 16:02:16 发布

阅读量2.2k

点赞数 41

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：深度学习 pytorch 人工智能 python

本文链接：https://blog.youkuaiyun.com/GodFishhh/article/details/136184447

深度学习专栏收录该内容

22 篇文章

订阅专栏

本文详细介绍了如何从txt标注文件中读取数据和标签，构建自定义数据集，包括数据预处理、使用DataLoader进行数据加载和检查数据标签对应关系的过程。作者展示了如何通过`load_annotation`函数处理文件，以及如何构造`FlowerDataset`类和使用`DataLoader`进行数据迭代。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DataLoader自定义数据集制作

1.从标注文件(txt文件)中读取数据和标签

6.使用定义好的类来实例化DataLoader

7.检查数据和标签是否对应

8.使用创建好的DataLoader

DataLoader工作原理：

DataLoader自定义数据集制作

1.从标注文件(txt文件)中读取数据和标签

def load_annotation(ann_file): # 参数为文本文件的路径
    # 创建一个字典结构用于保存数据，key作为图像的名字，value作为图像的标签
    data_infos = {}
    with open(ann_file) as f:
        # strip()去除一些换行符等
        # split(' ')是以空格为分隔符
        # samples是一个list，格式为图像名字，图像标签
        # eg:[['image11.jpg,'0'],['image22.jpg,'1'],['image33.jpg,'3']]
        samples = [x.strip().split(' ') for x in f.readlines()]
        for filename, gt_label in samples:
            # filename是图像名字--'image11.jpg'，gt_label--'0'是标签，加载到字典data_infos中去
            # value值设置为array(gt_label,dtype=int64)类型
            data_infos[filename] = np.array(gt_label, dtype=np.int64)
        # 得到的字典格式：{'image11.jpg':array(0,dtype=int64),'image22.jpg':array(1,dtype=int64)}
    return data_infos

2.分别把数据和标签存在两个list中

img_label = load_annotation('./flower_data/train.txt')
image_name = list(img_label.keys())  # 取keys值
label = list(img_label.values())  # 取labels值

3.设置完整的图像数据路径

data_dir = './flower_data'  # 数据存放的磁盘
train_dir = data_dir + '/train_filelist'  # 训练集数据存放的磁盘
valid_dir = data_dir + '/valid_filelist'  # 验证集数据存放的磁盘
# 给设置好的图像名list设置图像路径
image_path = [os.path.join(train_dir, img) for img in image_name]

'''
os.path.join()函数：连接两个或更多的路径名组件
1.如果各组件名首字母不包含’/’，则函数会自动加上
2.第一个以”/”开头的参数开始拼接，之前的参数全部丢弃,当有多个时，从最后一个开始
3.如果最后一个组件为空，则生成的路径以一个’/’分隔符结尾 
'''

os.path.join()函数：连接两个或更多的路径名组件

如果各组件名首字母不包含’/’，则函数会自动加上
第一个以”/”开头的参数开始拼接，之前的参数全部丢弃,当有多个时，从最后一个开始
如果最后一个组件为空，则生成的路径以一个’/’分隔符结尾

4.根据任务整合出一个数据处理类

数据处理类中构造函数__init__和数据获取函数__getitem__是必须存在的

class FlowerDataset(Dataset):  # 继承Dataset类
    # 构造函数必须存在
    def __init__(self, root_dir, ann_file, transform=None):
        self.ann_file = ann_file
        self.root_dir = root_dir
        self.img_label = self.load_annotations()  # img_label是一个字典
        self.img = [os.path.join(self.root_dir, img) for img in list(self.img_label.kesy())]
        self.label = [label for label in list(self.img_label.values())]
        self.transform = transform  # 数据需要做的预处理操作

    def __len__(self):
        return len(self.img)

    # 获取图像和标签交给模型，该函数必须存在
    # 不要修改参数，每次调用时会传入随机的idx
    # 一个batch的数据就是由__getitem__函数处理数据传入得到的
    def __getitem__(self, idx):
        image = Image.open(self.img[idx])  # img保存了图像的路径
        label = self.label[idx]
        if self.transform:
            image = self.transform(image)  # 对数据进行预处理操作
        label = torch.from_numpy(np.array(label))  # 转换label的数据类型，由list->numpy->tensor
        return image, label

    def load_annotations(self):
        data_infos = {}
        with open(self.ann_file) as f:
            samples = [x.strip().split(' ') for x in f.readlines()]
            for filename, gt_label in samples:
                data_infos[filename] = np.array(gt_label, dtype=np.int64)
        return data_infos

5.数据预处理

# 创建一个字典结构的数据类型来进行图像预处理操作：key - value
data_transforms = {
    # 对训练集的预处理
    'train': transforms.Compose([
        transforms.Resize([96, 96]),  # 卷积神经网络处理的数据大小必须相同，通过Resize来设置

        # 数据增强
        transforms.RandomRotation(45),  # 随机旋转，-45到45度之间随机选
        transforms.CenterCrop(64),  # 从中心开始裁剪，将原本96x96大小的图片数据裁剪为64x64大小的图片数据，可以获取更多的参数
        transforms.RandomHorizontalFlip(p=0.5),  # 随机水平翻转 选择一个概率概率，50%的概率进行水平翻转
        transforms.RandomVerticalFlip(p=0.5),  # 随 机垂直翻转，50%的概率进行竖直翻转

        transforms.ColorJitter(brightness=0.2, contrast=0.1, saturation=0.1, hue=0.1),  # 参数1为亮度，参数2为对比度，参数3为饱和度，参数4为色相
        transforms.RandomGrayscale(p=0.025),  # 概率转换成灰度率，3通道就是R=G=B(三颜色通道转为单一颜色通道，很少进行此处理)

        # 将数据转为Tensor类型
        transforms.ToTensor(),

        # 标准化
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])  # 设置均值，标准差，分别对应R、G、B三个颜色通道的三个均值和标准差值，(x-μ)/σ
    ]),

    # 对验证集的预处理(不需要进行数据增强)
    'valid': transforms.Compose([transforms.Resize(256),
                                 transforms.CenterCrop(224),
                                 transforms.ToTensor(),
                                 transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
                                 # 均值和标准差数值的设置和训练集的相同(验证集的数据对我们来说是未知的，不能利用其中的数据再计算出相关的均值和标准差)
                                 ]),
}

6.使用定义好的类来实例化DataLoader

# 训练集
train_dataset = FlowerDataset(root_dir=train_dir, ann_file='./flower_data/train.txt', transform=data_transforms['train'])
# 测试集
valid_dataset = FlowerDataset(root_dir=valid_dir, ann_file='./flower_data/valid.txt', transform=data_transforms['valid'])
# 实例化DataLoader(使用封装好的DataLoader包)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
valid_loader = DataLoader(valid_dataset, batch_size=64, shuffle=True)

7.检查数据和标签是否对应

# 检查训练集
image1, label1 = next(iter(train_loader))  # iter表示train_loader进行迭代，next取一个batch的数据
sample = image1[0].squeeze()  # 通过squeeze()压缩一个维度，有时候维度为1x3x64x64，去除这个1
# 此时的sample是3x64x64的结构，而需要图像展示则需要转换结构为64X64X3，同时需要转换为numpy数据结构
sample = sample.permute((1, 2, 0)).numpy()
# 标准化还原 x = (x-μ) / σ -> x = x*σ + μ (预处理中进行了标准化，需要还原）
sample *= [0.229, 0.224, 0.225]
sample += [0.485, 0.456, 0.406]
plt.imshow(sample)
plt.show()
print('Label is: {}'.format(label1[0].numpy()))


# 检查训练集
image2, label2 = next(iter(valid_loader))  # iter表示train_loader进行迭代，next取一个batch的数据
sample = image2[0].squeeze()  # 通过squeeze()压缩一个维度，有时候维度为1x3x64x64，去除这个1
# 此时的sample是3x64x64的结构，而需要图像展示则需要转换结构为64X64X3，同时需要转换为numpy数据结构
sample = sample.permute((1, 2, 0)).numpy()
# 标准化还原 x = (x-μ) / σ -> x = x*σ + μ (预处理中进行了标准化，需要还原）
sample *= [0.229, 0.224, 0.225]
sample += [0.485, 0.456, 0.406]
plt.imshow(sample)
plt.show()
print('Label is: {}'.format(label2[0].numpy()))


'''
plt.imshow()：

1.plt.imshow()用于显示图像数据或二维数组（也可以是三维数组，表示RGB图像）。
2.当你有一个二维数组或图像数据时，你可以使用plt.imshow()将其可视化为图像。
3.它将数组中的每个元素的值映射为一个颜色，并将这些颜色排列成图像的形式。
4.plt.imshow()可以接受许多参数，用于控制图像的外观，例如颜色映射（colormap）、插值方法等。

plt.show()：

1.plt.show()用于显示所有已创建的图形。
2.在使用Matplotlib绘制图形时，图形被存储在内存中，但不会自动显示在屏幕上。为了在屏幕上显示图形，你需要调用plt.show()函数。
3.通常，在你创建完所有的图形之后，调用plt.show()一次，它会同时显示所有的图形窗口。

'''

plt.imshow()和plt.show()的区别：

plt.imshow()：

plt.imshow()用于显示图像数据或二维数组（也可以是三维数组，表示RGB图像）。
当你有一个二维数组或图像数据时，你可以使用plt.imshow()将其可视化为图像。
它将数组中的每个元素的值映射为一个颜色，并将这些颜色排列成图像的形式。
plt.imshow()可以接受许多参数，用于控制图像的外观，例如颜色映射（colormap）、插值方法等。

plt.show()：

plt.show()用于显示所有已创建的图形。
在使用Matplotlib绘制图形时，图形被存储在内存中，但不会自动显示在屏幕上。为了在屏幕上显示图形，你需要调用plt.show()函数。
通常，在你创建完所有的图形之后，调用plt.show()一次，它会同时显示所有的图形窗口。

8.使用创建好的DataLoader

dataloaders = {'train': train_loader, "valid": valid_loader}
for inputs, labels in dataloaders['train']:
    print("处理训练集")
for inputs, labels in dataloaders['valid']:
    print("处理验证集")