Pytorch：train、test、val数据集划分

「已注销」

于 2021-11-19 10:16:48 发布

阅读量7.2k

点赞数 8

文章标签： python pycharm 开发语言

本文链接：https://blog.youkuaiyun.com/weixin_62637793/article/details/121415555

版权

本文介绍了如何在PyTorch中进行数据集划分，包括使用train=True/False来划分训练集和测试集，以及利用random_split()函数进行进一步的训练集验证集切分。此外，还提及了交叉验证的概念，即从70k数据中抽出10k作为测试集，剩余数据进行N折交叉验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（1）如果只有train和test两个数据集，会给一个train=True代表划分训练集。如果设定train=Flase得到test的划分。

#  加载的代码操作，划分数据集
train_loader=torch.utils.data.DataLoader(
    datasets.MNIST('../data', train=True, download=True,
                   transform=transforms.Compose([
                       transforms.ToTensor(),
                       transforms.Normalize((0.1307,),(0.3081,))
                   ])),
    batch_size=batch_size,shuffle=True
)
test_loader=torch.utils.data.DataLoader(
    datasets.MNIST('../data',train=False,transform=transforms.Compose([
        transforms.ToTensor(),
        transforms.Normalize((0.1307,),(0.3081,))
    ])),
    batch_size=batch_size,shuffle=True
)

（2）先用train=True/False划分为训练集和测试集，再把train set划分为训练集和验证集，test不做处理，只用来检验泛化能力。

使用torch.utils.data.random_split()