invalid device ordinal at /pytorch/torch/csrc/cuda/Module.cpp:59

发现问题代码：

# 开启的进程数(注意不是线程),在单机中指使用GPU的数量
parser.add_argument('--world-size', default=4, type=int,
                    help='number of distributed processes')

问题原因：

gpu数不对

处理：

将default=4改为你的gpu数目即可