深度学习（十七）

1、在残差网络中利用1*1进行降维，即设计一个瓶颈层来使得网络更深可能不是一个好主意，网络的通道更多即网络更宽一些在实验中可能更能利用GPU的运算资源。
2、一个训练的技巧，当使用较小的学习率时使用较大的动量，使用较大的学习率时使用较小的动量，两者的关系如图所示：

3、如果损失函数的表现是非平稳的，那么基于动量的优化方法会很差，此时可以使用RMSProp.
4、GAN的评估目前还是一个问题，GAN可能会发生模式崩溃，即生成的图片目标种类匮乏，缺乏多样性
5、超分辨率的两个技巧，一是去掉不必要的规范化，二是在残差块乘上一个尺度因子0.1稳定训练。