PyTorch系列 - PyTorch数据读取 (二)

文章首发于：WangW Blog，转载请注明出处。
Pytorch系列：

• PyTorch系列 - PyTorch使用总览 (一)
• PyTorch系列 - PyTorch数据读取 (二)
• PyTorch系列 - PyTorch网络构建 (三)
• PyTorch系列 - PyTorch网络配置 (四)
• PyTorch系列 - PyTorch其它配置 (五)

参考：

1. PyTorch documentation
2. PyTorch 码源

本文首先介绍了有关预处理包的源码，接着介绍了在数据处理中的具体应用；
其主要目录如下：

1 PyTorch数据预处理以及源码分析 (torch.utils.data)

torch.utils.data脚本码源

1.1 Dataset

Dataset

class torch.utils.data.Dataset

表示Dataset的抽象类。所有其他数据集都应该进行子类化。
所有子类应该override__len__和__getitem__，前者提供了数据集的大小，后者支持整数索引，范围从0到len(self)。

class Dataset(object):
	# 强制所有的子类override getitem和len两个函数，否则就抛出错误；
	# 输入数据索引，输出为索引指向的数据以及标签；
	def __getitem__(self, index):
		raise NotImplementedError
	
	# 输出数据的长度
	def __len__(self):
		raise NotImplementedError
		
	def __add__(self, other):
		return ConcatDataset([self, other])

TensorDataset

class torch.utils.data.TensorDataset(*tensors)

Dataset的子类。包装tensors数据集；输入输出都是元组；
通过沿着第一个维度索引一个张量来回复每个样本。
个人感觉比较适用于数字类型的数据集，比如线性回归等。

class TensorDataset(Dataset):
	def __init__(self, *tensor):
		assert all(tensors[0].size(0) == tensor.size(0) for tensor in tensors)
		self.tensors = tensors
		
	def __getitem__(self, index):
		return tuple(tensor[index] for tensor in tensors
		
	def __len__(self):
		return self.tensors[0].size(0)

ConcatDateset

class torch.utils.data.ConcatDateset(datasets)

连接多个数据集。
目的：组合不同的数据集，可能是大规模数据集，因为连续操作是随意连接的。
datasets的参数：要连接的数据集列表
datasets的样式：iterable

class ConcatDataset(Dataset):
	@staticmethod
	def cumsum(sequence):
		# sequence是一个列表，e.g. [[1,2,3], [a,b], [4,h]]
		# return 一个数据大小列表，[3, 5, 7], 明显看的出来包含数据多少，第一个代表第一个数据的大小，第二个代表第一个+第二数据的大小，最后代表所有的数据大学；
	...
	def