该博客讨论了如何在PyTorch中确保两个数据加载器（DataLoader）在`shuffle=True`时保持相同的数据顺序。通过设置相同的随机种子，可以确保两个DataLoader在洗牌过程中使用相同的随机数生成序列，从而在每个迭代步骤中取出一对对应的数据。这在处理带有噪声和干净数据的场景中特别有用，以保持数据的一一对应关系。
有两个数据集，一个是干净的，一个是加入了噪声，希望在shuffle=True的情况下取出的数据还是一一对应的。
加载两个数据集：
trainloader_noise=torch.utils.data.DataLoader(trainloader_noise,batch_size=args.batch_size,shuffle=True,num_workers=args.n_cpu,drop_last=True)
trainloader_clean=torch.utils.data.DataLoader(trainloader_clean,batch_size=args.batch_size,shuffle=True,num_workers=args.n_cpu,drop_last=True)
用
for (num,(data_noise,labels)),(num1,(data_clean,labels1)) in zip(enumerate(loader_clean,start=1),enumerate(loader_noise,start=1))取出。
参考pytorch怎么同时让两个dataloader打乱的顺序是相同的？ - 知乎
以及Reproducibility — PyTorch 1.10 documentation
可以在两个dataloader实例化之前加入
g=torch.Generator()
g.manual_seed(0)
然后在dataloader中加入参数g
trainloader_noise=torch.utils.data.DataLoader(trainloader_noise,batch_size=args.batch_size,shuffle=True,num_workers=args.n_cpu,drop_last=True,generator=g)
trainloader_clean=torch.utils.data.DataLoader(trainloader_clean,batch_size=args.batch_size,shuffle=True,num_workers=args.n_cpu,drop_last=True,generator=g)
就可以使得两个dataloader的打乱顺序一致
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
