深度学习(17)--DataLoader自定义数据集制作

本文详细介绍了如何从txt标注文件中读取数据和标签,构建自定义数据集,包括数据预处理、使用DataLoader进行数据加载和检查数据标签对应关系的过程。作者展示了如何通过`load_annotation`函数处理文件,以及如何构造`FlowerDataset`类和使用`DataLoader`进行数据迭代。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

DataLoader自定义数据集制作

1.从标注文件(txt文件)中读取数据和标签

2.分别把数据和标签存在两个list中

3.设置完整的图像数据路径

4.根据任务整合出一个数据处理类

5.数据预处理

6.使用定义好的类来实例化DataLoader

7.检查数据和标签是否对应

8.使用创建好的DataLoader


DataLoader工作原理:

DataLoader自定义数据集制作

1.从标注文件(txt文件)中读取数据和标签

def load_annotation(ann_file): # 参数为文本文件的路径
    # 创建一个字典结构用于保存数据,key作为图像的名字,value作为图像的标签
    data_infos = {}
    with open(ann_file) as f:
        # strip()去除一些换行符等
        # split(' ')是以空格为分隔符
        # samples是一个list,格式为图像名字,图像标签
        # eg:[['image11.jpg,'0'],['image22.jpg,'1'],['image33.jpg,'3']]
        samples = [x.strip().split(' ') for x in f.readlines()]
        for filename, gt_label in samples:
            # filename是图像名字--'image11.jpg',gt_label--'0'是标签,加载到字典data_infos中去
            # value值设置为array(gt_label,dtype=int64)类型
            data_infos[filename] = np.array(gt_label, dtype=np.int64)
        # 得到的字典格式:{'image11.jpg':array(0,dtype=int64),'image22.jpg':array(1,dtype=int64)}
    return data_infos

2.分别把数据和标签存在两个list中

img_label = load_annotation('./flower_data/train.txt')
image_name = list(img_label.keys())  # 取keys值
label = list(img_label.values())  # 取labels值

3.设置完整的图像数据路径

data_dir = './flower_data'  # 数据存放的磁盘
train_dir = data_dir + '/train_filelist'  # 训练集数据存放的磁盘
valid_dir = data_dir + '/valid_filelist'  # 验证集数据存放的磁盘
# 给设置好的图像名list设置图像路径
image_path = [os.path.join(train_dir, img) for img in image_name]

'''
os.path.join()函数:连接两个或更多的路径名组件
1.如果各组件名首字母不包含’/’,则函数会自动加上
2.第一个以”/”开头的参数开始拼接,之前的参数全部丢弃,当有多个时,从最后一个开始
3.如果最后一个组件为空,则生成的路径以一个’/’分隔符结尾 
'''

os.path.join()函数:连接两个或更多的路径名组件

  1. 如果各组件名首字母不包含’/’,则函数会自动加上
  2. 第一个以”/”开头的参数开始拼接,之前的参数全部丢弃,当有多个时,从最后一个开始
  3. 如果最后一个组件为空,则生成的路径以一个’/’分隔符结尾  

4.根据任务整合出一个数据处理类

数据处理类中构造函数__init__和数据获取函数__getitem__是必须存在的

class FlowerDataset(Dataset):  # 继承Dataset类
    # 构造函数必须存在
    def __init__(self, root_dir, ann_file, transform=None):
        self.ann_file = ann_file
        self.root_dir = root_dir
        self.img_label = self.load_annotations()  # img_label是一个字典
        self.img = [os.path.join(self.root_dir, img) for img in list(self.img_label.kesy())]
        self.label = [label for label in list(self.img_label.values())]
        self.transform = transform  # 数据需要做的预处理操作

    def __len__(self):
        return len(self.img)

    # 获取图像和标签交给模型,该函数必须存在
    # 不要修改参数,每次调用时会传入随机的idx
    # 一个batch的数据就是由__getitem__函数处理数据传入得到的
    def __getitem__(self, idx):
        image = Image.open(self.img[idx])  # img保存了图像的路径
        label = self.label[idx]
        if self.transform:
            image = self.transform(image)  # 对数据进行预处理操作
        label = torch.from_numpy(np.array(label))  # 转换label的数据类型,由list->numpy->tensor
        return image, label

    def load_annotations(self):
        data_infos = {}
        with open(self.ann_file) as f:
            samples = [x.strip().split(' ') for x in f.readlines()]
            for filename, gt_label in samples:
                data_infos[filename] = np.array(gt_label, dtype=np.int64)
        return data_infos

5.数据预处理

# 创建一个字典结构的数据类型来进行图像预处理操作:key - value
data_transforms = {
    # 对训练集的预处理
    'train': transforms.Compose([
        transforms.Resize([96, 96]),  # 卷积神经网络处理的数据大小必须相同,通过Resize来设置

        # 数据增强
        transforms.RandomRotation(45),  # 随机旋转,-45到45度之间随机选
        transforms.CenterCrop(64),  # 从中心开始裁剪,将原本96x96大小的图片数据裁剪为64x64大小的图片数据,可以获取更多的参数
        transforms.RandomHorizontalFlip(p=0.5),  # 随机水平翻转 选择一个概率概率,50%的概率进行水平翻转
        transforms.RandomVerticalFlip(p=0.5),  # 随 机垂直翻转,50%的概率进行竖直翻转

        transforms.ColorJitter(brightness=0.2, contrast=0.1, saturation=0.1, hue=0.1),  # 参数1为亮度,参数2为对比度,参数3为饱和度,参数4为色相
        transforms.RandomGrayscale(p=0.025),  # 概率转换成灰度率,3通道就是R=G=B(三颜色通道转为单一颜色通道,很少进行此处理)

        # 将数据转为Tensor类型
        transforms.ToTensor(),

        # 标准化
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])  # 设置均值,标准差,分别对应R、G、B三个颜色通道的三个均值和标准差值,(x-μ)/σ
    ]),

    # 对验证集的预处理(不需要进行数据增强)
    'valid': transforms.Compose([transforms.Resize(256),
                                 transforms.CenterCrop(224),
                                 transforms.ToTensor(),
                                 transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
                                 # 均值和标准差数值的设置和训练集的相同(验证集的数据对我们来说是未知的,不能利用其中的数据再计算出相关的均值和标准差)
                                 ]),
}

6.使用定义好的类来实例化DataLoader

# 训练集
train_dataset = FlowerDataset(root_dir=train_dir, ann_file='./flower_data/train.txt', transform=data_transforms['train'])
# 测试集
valid_dataset = FlowerDataset(root_dir=valid_dir, ann_file='./flower_data/valid.txt', transform=data_transforms['valid'])
# 实例化DataLoader(使用封装好的DataLoader包)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
valid_loader = DataLoader(valid_dataset, batch_size=64, shuffle=True)

7.检查数据和标签是否对应

# 检查训练集
image1, label1 = next(iter(train_loader))  # iter表示train_loader进行迭代,next取一个batch的数据
sample = image1[0].squeeze()  # 通过squeeze()压缩一个维度,有时候维度为1x3x64x64,去除这个1
# 此时的sample是3x64x64的结构,而需要图像展示则需要转换结构为64X64X3,同时需要转换为numpy数据结构
sample = sample.permute((1, 2, 0)).numpy()
# 标准化还原 x = (x-μ) / σ -> x = x*σ + μ (预处理中进行了标准化,需要还原)
sample *= [0.229, 0.224, 0.225]
sample += [0.485, 0.456, 0.406]
plt.imshow(sample)
plt.show()
print('Label is: {}'.format(label1[0].numpy()))


# 检查训练集
image2, label2 = next(iter(valid_loader))  # iter表示train_loader进行迭代,next取一个batch的数据
sample = image2[0].squeeze()  # 通过squeeze()压缩一个维度,有时候维度为1x3x64x64,去除这个1
# 此时的sample是3x64x64的结构,而需要图像展示则需要转换结构为64X64X3,同时需要转换为numpy数据结构
sample = sample.permute((1, 2, 0)).numpy()
# 标准化还原 x = (x-μ) / σ -> x = x*σ + μ (预处理中进行了标准化,需要还原)
sample *= [0.229, 0.224, 0.225]
sample += [0.485, 0.456, 0.406]
plt.imshow(sample)
plt.show()
print('Label is: {}'.format(label2[0].numpy()))


'''
plt.imshow():

1.plt.imshow()用于显示图像数据或二维数组(也可以是三维数组,表示RGB图像)。
2.当你有一个二维数组或图像数据时,你可以使用plt.imshow()将其可视化为图像。
3.它将数组中的每个元素的值映射为一个颜色,并将这些颜色排列成图像的形式。
4.plt.imshow()可以接受许多参数,用于控制图像的外观,例如颜色映射(colormap)、插值方法等。

plt.show():

1.plt.show()用于显示所有已创建的图形。
2.在使用Matplotlib绘制图形时,图形被存储在内存中,但不会自动显示在屏幕上。为了在屏幕上显示图形,你需要调用plt.show()函数。
3.通常,在你创建完所有的图形之后,调用plt.show()一次,它会同时显示所有的图形窗口。

'''

plt.imshow()和plt.show()的区别: 

plt.imshow():

  1. plt.imshow()用于显示图像数据或二维数组(也可以是三维数组,表示RGB图像)。
  2. 当你有一个二维数组或图像数据时,你可以使用plt.imshow()将其可视化为图像。
  3. 它将数组中的每个元素的值映射为一个颜色,并将这些颜色排列成图像的形式。
  4. plt.imshow()可以接受许多参数,用于控制图像的外观,例如颜色映射(colormap)、插值方法等。

plt.show():

  1. plt.show()用于显示所有已创建的图形。
  2. 在使用Matplotlib绘制图形时,图形被存储在内存中,但不会自动显示在屏幕上。为了在屏幕上显示图形,你需要调用plt.show()函数。
  3. 通常,在你创建完所有的图形之后,调用plt.show()一次,它会同时显示所有的图形窗口。

8.使用创建好的DataLoader

dataloaders = {'train': train_loader, "valid": valid_loader}
for inputs, labels in dataloaders['train']:
    print("处理训练集")
for inputs, labels in dataloaders['valid']:
    print("处理验证集")

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值