torch多GPU导致较大计算误差问题

今天将一个用keras训练好的模型通过mmdnn转化为为torch下的模型。该模型原本在单个GPU上训练。转化好的模型重新测试数据时发现测试结果较原来的keras模型的测试结果有非常大的差异，个别批次数据acc差异大于0.5。最终找到原因：原模型加载后，使用如下方法进行多GPU并行计算则有误差问题，若只使用单个GPU测试，则没有误差问题。
model = nn.DataParallel(model)

探究实验还发现，不同的mmdnn转化的模型，其预测值和keras模型的差异很小在e-7左右。相同模型使用不同GPU测试（多GPU测试）则有误差，acc误差在e-2左右。

可见多GPU训练和测试时应当小心。原单GPU训练的模型最好在单GPU上测试。训练和测试最好不要是随便改变多GPU和单GPU策略，以及使用的GPU型号。