Pytorch学习笔记（四）各组件的Debug记录

torch.nn

DataParallel详解

定义：model = torch.nn.DataParallel(model, device_ids=args.gpus).cuda()

代码流程

下面主要是详细介绍一下数据并行的流程，自己动手Debug一下更清晰！

1. 在调用网络模型model（DataParallel类实例）时，实际是进入模型基类Module的特殊方法__call__（module.py）。
   注： 特殊方法__call__用于实现对类实例的调用。
2. 再通过模型基类Module的self.forward进入DataParallel类的forward方法（data_parallel.py）：
   1. 先调用self.scatter在第一个维度分配输入
   2. 调用self.replicate产生模型副本放置在多个GPU上，形成modules列表
   3. 调用parallel_apply执行并行操作（parallel_apply.py）
3. 在parallel_apply中通过多线程模块threading，将不同的module（自定义的网络模型类实例），input，GPU_ID以及kwargs分配给不同的线程。通过for循环控制启动线程活动和等待至线程中止。
4. 通过多线程的run()方法进入线程目标函数_worker中，调用module（自定义的网络模型类实例），返回此次线程的结果并存储在指定字典results中。
   注：调用module时，同样也是先进入模