本文详细介绍了如何从txt标注文件中读取数据和标签，构建自定义数据集，包括数据预处理、使用DataLoader进行数据加载和检查数据标签对应关系的过程。作者展示了如何通过`load_annotation`函数处理文件，以及如何构造`FlowerDataset`类和使用`DataLoader`进行数据迭代。
目录
DataLoader工作原理：
DataLoader自定义数据集制作
1.从标注文件(txt文件)中读取数据和标签
def load_annotation(ann_file): # 参数为文本文件的路径
# 创建一个字典结构用于保存数据，key作为图像的名字，value作为图像的标签
data_infos = {}
with open(ann_file) as f:
# strip()去除一些换行符等
# split(' ')是以空格为分隔符
# samples是一个list，格式为图像名字，图像标签
# eg:[['image11.jpg,'0'],['image22.jpg,'1'],['image33.jpg,'3']]
samples = [x.strip().split(' ') for x in f.readlines()]
for filename, gt_label in samples:
# filename是图像名字--'image11.jpg'，gt_label--'0'是标签，加载到字典data_infos中去
# value值设置为array(gt_label,dtype=int64)类型
data_infos[filename] = np.array(gt_label, dtype=np.int64)
# 得到的字典格式：{'image11.jpg':array(0,dtype=int64),'image22.jpg':array(1,dtype=int64)}
return data_infos2.分别把数据和标签存在两个list中
img_label = load_annotation('./flower_data/train.txt')
image_name = list(img_label.keys()) # 取keys值
label = list(img_label.values()) # 取labels值3.设置完整的图像数据路径
data_dir = './flower_data' # 数据存放的磁盘
train_dir = data_dir + '/train_filelist' # 训练集数据存放的磁盘
valid_dir = data_dir + '/valid_filelist' # 验证集数据存放的磁盘
# 给设置好的图像名list设置图像路径
image_path = [os.path.join(train_dir, img) for img in image_name]
'''
os.path.join()函数：连接两个或更多的路径名组件
1.如果各组件名首字母不包含’/’，则函数会自动加上
2.第一个以”/”开头的参数开始拼接，之前的参数全部丢弃,当有多个时，从最后一个开始
3.如果最后一个组件为空，则生成的路径以一个’/’分隔符结尾
'''os.path.join()函数：连接两个或更多的路径名组件
- 如果各组件名首字母不包含’/’，则函数会自动加上
- 第一个以”/”开头的参数开始拼接，之前的参数全部丢弃,当有多个时，从最后一个开始
- 如果最后一个组件为空，则生成的路径以一个’/’分隔符结尾
4.根据任务整合出一个数据处理类
数据处理类中构造函数__init__和数据获取函数__getitem__是必须存在的
class FlowerDataset(Dataset): # 继承Dataset类
# 构造函数必须存在
def __init__(self, root_dir, ann_file, transform=None):
self.ann_file = ann_file
self.root_dir = root_dir
self.img_label = self.load_annotations() # img_label是一个字典
self.img = [os.path.join(self.root_dir, img) for img in list(self.img_label.kesy())]
self.label = [label for label in list(self.img_label.values())]
self.transform = transform # 数据需要做的预处理操作
def __len__(self):
return len(self.img)
# 获取图像和标签交给模型，该函数必须存在
# 不要修改参数，每次调用时会传入随机的idx
# 一个batch的数据就是由__getitem__函数处理数据传入得到的
def __getitem__(self, idx):
image = Image.open(self.img[idx]) # img保存了图像的路径
label = self.label[idx]
if self.transform:
image = self.transform(image) # 对数据进行预处理操作
label = torch.from_numpy(np.array(label)) # 转换label的数据类型，由list->numpy->tensor
return image, label
def load_annotations(self):
data_infos = {}
with open(self.ann_file) as f:
samples = [x.strip().split(' ') for x in f.readlines()]
for filename, gt_label in samples:
data_infos[filename] = np.array(gt_label, dtype=np.int64)
return data_infos5.数据预处理
# 创建一个字典结构的数据类型来进行图像预处理操作：key - value
data_transforms = {
# 对训练集的预处理
'train': transforms.Compose([
transforms.Resize([96, 96]), # 卷积神经网络处理的数据大小必须相同，通过Resize来设置
# 数据增强
transforms.RandomRotation(45), # 随机旋转，-45到45度之间随机选
transforms.CenterCrop(64), # 从中心开始裁剪，将原本96x96大小的图片数据裁剪为64x64大小的图片数据，可以获取更多的参数
transforms.RandomHorizontalFlip(p=0.5), # 随机水平翻转 选择一个概率概率，50%的概率进行水平翻转
transforms.RandomVerticalFlip(p=0.5), # 随 机垂直翻转，50%的概率进行竖直翻转
transforms.ColorJitter(brightness=0.2, contrast=0.1, saturation=0.1, hue=0.1), # 参数1为亮度，参数2为对比度，参数3为饱和度，参数4为色相
transforms.RandomGrayscale(p=0.025), # 概率转换成灰度率，3通道就是R=G=B(三颜色通道转为单一颜色通道，很少进行此处理)
# 将数据转为Tensor类型
transforms.ToTensor(),
# 标准化
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) # 设置均值，标准差，分别对应R、G、B三个颜色通道的三个均值和标准差值，(x-μ)/σ
]),
# 对验证集的预处理(不需要进行数据增强)
'valid': transforms.Compose([transforms.Resize(256),
transforms.CenterCrop(224),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
# 均值和标准差数值的设置和训练集的相同(验证集的数据对我们来说是未知的，不能利用其中的数据再计算出相关的均值和标准差)
]),
}
6.使用定义好的类来实例化DataLoader
# 训练集
train_dataset = FlowerDataset(root_dir=train_dir, ann_file='./flower_data/train.txt', transform=data_transforms['train'])
# 测试集
valid_dataset = FlowerDataset(root_dir=valid_dir, ann_file='./flower_data/valid.txt', transform=data_transforms['valid'])
# 实例化DataLoader(使用封装好的DataLoader包)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
valid_loader = DataLoader(valid_dataset, batch_size=64, shuffle=True)
7.检查数据和标签是否对应
# 检查训练集
image1, label1 = next(iter(train_loader)) # iter表示train_loader进行迭代，next取一个batch的数据
sample = image1[0].squeeze() # 通过squeeze()压缩一个维度，有时候维度为1x3x64x64，去除这个1
# 此时的sample是3x64x64的结构，而需要图像展示则需要转换结构为64X64X3，同时需要转换为numpy数据结构
sample = sample.permute((1, 2, 0)).numpy()
# 标准化还原 x = (x-μ) / σ -> x = x*σ + μ (预处理中进行了标准化，需要还原）
sample *= [0.229, 0.224, 0.225]
sample += [0.485, 0.456, 0.406]
plt.imshow(sample)
plt.show()
print('Label is: {}'.format(label1[0].numpy()))
# 检查训练集
image2, label2 = next(iter(valid_loader)) # iter表示train_loader进行迭代，next取一个batch的数据
sample = image2[0].squeeze() # 通过squeeze()压缩一个维度，有时候维度为1x3x64x64，去除这个1
# 此时的sample是3x64x64的结构，而需要图像展示则需要转换结构为64X64X3，同时需要转换为numpy数据结构
sample = sample.permute((1, 2, 0)).numpy()
# 标准化还原 x = (x-μ) / σ -> x = x*σ + μ (预处理中进行了标准化，需要还原）
sample *= [0.229, 0.224, 0.225]
sample += [0.485, 0.456, 0.406]
plt.imshow(sample)
plt.show()
print('Label is: {}'.format(label2[0].numpy()))
'''
plt.imshow()：
1.plt.imshow()用于显示图像数据或二维数组（也可以是三维数组，表示RGB图像）。
2.当你有一个二维数组或图像数据时，你可以使用plt.imshow()将其可视化为图像。
3.它将数组中的每个元素的值映射为一个颜色，并将这些颜色排列成图像的形式。
4.plt.imshow()可以接受许多参数，用于控制图像的外观，例如颜色映射（colormap）、插值方法等。
plt.show()：
1.plt.show()用于显示所有已创建的图形。
2.在使用Matplotlib绘制图形时，图形被存储在内存中，但不会自动显示在屏幕上。为了在屏幕上显示图形，你需要调用plt.show()函数。
3.通常，在你创建完所有的图形之后，调用plt.show()一次，它会同时显示所有的图形窗口。
'''plt.imshow()和plt.show()的区别：
plt.imshow()：
- plt.imshow()用于显示图像数据或二维数组（也可以是三维数组，表示RGB图像）。
- 当你有一个二维数组或图像数据时，你可以使用plt.imshow()将其可视化为图像。
- 它将数组中的每个元素的值映射为一个颜色，并将这些颜色排列成图像的形式。
- plt.imshow()可以接受许多参数，用于控制图像的外观，例如颜色映射（colormap）、插值方法等。
plt.show()：
- plt.show()用于显示所有已创建的图形。
- 在使用Matplotlib绘制图形时，图形被存储在内存中，但不会自动显示在屏幕上。为了在屏幕上显示图形，你需要调用plt.show()函数。
- 通常，在你创建完所有的图形之后，调用plt.show()一次，它会同时显示所有的图形窗口。
8.使用创建好的DataLoader
dataloaders = {'train': train_loader, "valid": valid_loader}
for inputs, labels in dataloaders['train']:
print("处理训练集")
for inputs, labels in dataloaders['valid']:
print("处理验证集")
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
