分布式debug方式合集持续更新

原创已于 2024-04-02 08:43:42 修改 · 397 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #机器学习 #pytorch

于 2024-03-30 10:39:36 首次发布

本文介绍了如何使用`TamperDataset_train`类从命令行参数加载图片和掩码数据，创建`DistributedSampler`并配置DataLoader以进行批处理训练，同时提供了调试技巧。

部署运行你感兴趣的模型镜像

test1：检查dataset类方法

from zqy_cfpns_cov_mulc_75_load import TamperDataset_train
from torch.utils.data import Dataset, DataLoader
import torch
import argparse
import tempfile
# zqy
parser = argparse.ArgumentParser()
parser.add_argument('--imgs', type=str, default='image')
parser.add_argument('--masks', type=str, default='mask')
parser.add_argument('--pilt', type=int, default=0)
parser.add_argument('--numw', type=int, default=0)
args = parser.parse_args()
use_pilt = (args.pilt == 1)
train_data3 = TamperDataset_train(args.imgs,args.masks,False,0, pilt=use_pilt)
# train_sampler1 = torch.utils.data.distributed.DistributedSampler(train_data3, shuffle=False)

train_loader1 = DataLoader(dataset=train_data3, batch_size=6, num_workers=args.numw, shuffle=False)

for i in train_loader1:
print(i)