pytorch 多GPU训练总结（DataParallel的使用）

参考：https://blog.youkuaiyun.com/weixin_40087578/article/details/87186613

使用多gpu运算需要添加的代码

1、模型复制到gpu，使用DataParallel

if arg.cuda:
    model=model.cuda()  #这里将模型复制到gpu ,默认是cuda('0')，即转到第一个GPU 2
if len(device_id)>1:
    model=torch