深度学习中，使用多个Dataloader训练

predict_cv

已于 2022-07-03 15:25:01 修改

阅读量1k

点赞数 1

文章标签：深度学习 pytorch

于 2022-05-24 16:18:10 首次发布

本文链接：https://blog.youkuaiyun.com/qq_48194187/article/details/124948790

版权

这篇博客介绍了如何在PyTorch中搭建一个接受多个输入并产生单个输出的模型，并展示了如何在训练过程中同时使用多个Dataloader。通过enumerate和zip函数的结合，可以有效地遍历和处理来自不同Dataloader的数据，实现对多个数据源的联合训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在修改模型时，需要使用pytorch搭建多输入单输出的模型：

在训练时，需要使用多个Dataloader对模型进行训练，

一个Dataloader的情况：

使用enumerate函数对Dataloader进行读取：

Data1_train = DataLoader(dataset=train1, batch_size=B, shuffle=False, num_workers=0)
Data1_test = DataLoader(dataset=test1, batch_size=B, shuffle=False, num_workers=0)

for i,(seq,label) in enumerate(Data1_train):
    print("seq",seq)
    print("label",label)

运行后部分结果如下：

经过网上查找资料和思考，可采用如下方法：

可使用zip对多个Dataloader，然后在对其进行访问。

其中使用zip打包后的数据，运用data[i]的形式进行访问，data[0]为（seq1，label1）data[1]为（seq2，label2），可以读取到对应的序列和标签，实现使用多个Dataloader训练模型。

Data1_train = DataLoader(dataset=train1, batch_size=B, shuffle=False, num_workers=0)
Data1_test = DataLoader(dataset=test1, batch_size=B, shuffle=False, num_workers=0)

Data2_train = DataLoader(dataset=train2, batch_size=B, shuffle=False, num_workers=0)
Data2_test = DataLoader(dataset=test2, batch_size=B, shuffle=False, num_workers=0)


for i, data in enumerate(zip(Data1_train,Data2_train)):
    print("i",i)
    print("data[0]",data[0])
    (seq1, label1) = data[0]
    print("seq1",seq1)
    print("label1",label1)

运行部分结果如下：

可见，多种Dataloader情况下data[0]对应的（seq1，label1）与一个Dataloader对应的（seq,label）一样。