在Pytorch下，由于反向传播设置错误导致 loss不下降的原因及解决方案*

在Pytorch下，由于反向传播设置错误导致 loss不下降的原因及解决方案

本人研究生渣渣一枚，第一次写博客，请各路大神多多包含。刚刚接触深度学习一段时间，一直在研究计算机视觉方面，现在也在尝试实现自己的idea，从中也遇见了一些问题，这次就专门写一下，自己由于在反向传播（backward）过程中参数没有设置好，而导致的loss不下降的原因。

对于多个网络交替

【描述】简单描述一下我的网络结构，我的网络是有上下两路，先对第一路网络进行训练，使用groud truth对这一路的结果进行监督loss_steam1，得到训练好的feature.然后再将得到的feature级联到第二路，通过网络得到最后的结果，再用groud truth进行监督loss。【整个网络基于VGG19网络，在pytorch下搭建，有GPU环境】：

出现的情况，loss_steam1不怎么下降

这个问题确实折麽自己一段时间，结果发现自己出现了一个问题，下面将对这个问题进行分析和解答：

PyTorch梯度传递

在PyTorch中，传入网络计算的数据类型必须是Variable类型， Variable包装了一个Tensor，并且保存着梯度和创建这个Variablefunction的引用，换句话说，就是记录网络每层的梯度和网络图，可以实现梯度的反向传递.
则根据最后得到的loss可以逐步递归的求其每层的梯度，并实现权重更新。

在实现梯度反向传递时主要需要三步：

1. 初始化梯度值：net.zero_grad() 清除网络状态
2. 反向求解梯度：loss.backward() 反向传播求