pytorch 构造读取数据的工具类 Dataset 与 DataLoader （pytorch Data学习一）

原创于 2021-07-17 15:54:46 发布 · 1.1k 阅读

5 ·

CC 4.0 BY-SA版权

本文为优快云博主"呆萌的代Ma"原创文章，转载请注明博客链接：https://blog.youkuaiyun.com/weixin_35757704/

文章标签：

#pytorch

pytorch/神经网络专栏收录该内容

62 篇文章

订阅专栏

本文介绍如何使用PyTorch的Dataset和DataLoader类来加载和处理数据集，包括定义自定义数据集类、设置批处理大小及是否打乱数据等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基本思路

所有的数据都叫Dataset
加载数据的叫DataLoader
每次加载多少条数据叫batch_size

所以构造训练数据的步骤是：首先把数据加载为Dataset，然后用DataLoader依次把数据传递到模型中即可

全部代码

import torch
import numpy as np
from torch.utils.data import Dataset, DataLoader


class MyDataset(Dataset):

    def __init__(self):
        txt_data = np.loadtxt('./my_data.txt', delimiter=',')
        self._x = torch.from_numpy(txt_data[:, :2])
        self._y = torch.from_numpy(txt_data[:, 2])
        self._len = len(txt_data)

    def __getitem__(self, item):  # 每次循环的时候返回的值
        return self._x[item], self._y[item]

    def __len__(self):
        return self._len


data = MyDataset()
dataloader = DataLoader(data, batch_size=3, shuffle=False, drop_last=True, num_workers=0)
n = 0
for x_data, y_label in dataloader:
    print('x:', x_data)
    print("y:", y_label)
    n += 1
print('迭代次数:', n)