Dataloader加载数据集

回顾

上节课使用全部数据进行训练。

Epoch, Batch-Size, Iterations

• epoch:训练的总轮次，指所有的训练样本都进行一次训练。
• batch-size：在一次训练中的训练样本数目。
• iteration：1个epoch需要进行的训练次数。
• epoch=batch-size*iteration
  
• shuffle：打乱数据
• 先对数据进行乱序，然后进行分组为可迭代的loader，每一次迭代就是一个batch。
  

糖尿病 Dataset 构建

• 需要导入Dataset、DataLoader两个类，Dataset是个抽象类不能实例化，只能被继承。
• 定义了一个数据集继承Dataset类，需要重写__init__、getitem、__len__三个魔法函数，分布是进行初始化，获取索引、获取列表长度的作用。
• 加载数据集需要用到DataLoader，number workers是指加载数据集时是否使用多线程（1是单线程）
• 另外，如果数据量比较小我们可以直接加载数据到内存；但是如果数据量比较大，比如说数据是图片，那么我们会新建一个txt文档保存数据集的路径、文件名、标签等信息。dataloader从txt文本中加载数据（YOLO系列）。
  
  注意！！！由于windows系统和Linux系统的差异，直接使用num_workers相关设置会报错，RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase.最好加一个if语句:if __name__ == '__main__':。
  

数据集实现代码

# prepare dataset
class DiabetesDataset(Dataset):
    def __init__(self, filepath):
        xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)#导入数据集
        self.len = xy.shape[0]  # shape(行，列)shape[0]：获取行数
        self.x_data = torch.from_numpy(xy[:, :-1])#获取前8列数据x
        self.y_data = torch.from_numpy(xy[:, [-1]])#获取最后一列数据y

    def __getitem__(self, ind