weixin_52101154的博客

就我之前做的实验而言，当weight decay为0时，loss其实经过上面学习率的调整也是能够正常降低并收敛的，但是最终收敛时loss还是比较大的。之前做自己的实验，调深度学习模型调了几个月，从早到晚，调到我要吐了，而且效果还不好，虽然在这个过程中也通过实践学到了一点点经验，但是比起我付出的时间和精力，感觉还是大亏啊！但是有时候会发现学习率调整为某个值时，loss一直不下降，然后学习率稍微调大一点，loss就不降反升，这时候可以把学习率调回原来的值，然后增加epoch，比如。

最近看了一些论文，了解到了一些关于深度学习方面特别是计算机视觉方面的算法。基于量子优化的自适应确定权值的高分辨率重建深度网络：由生成对抗网络和原图像先验信息估计网络两个网络组成，该方法可以由低分辨率图像生成高分辨率图像。基于遗传算法的卷积神经网络参数优化方法：依据生物中遗传的特点，将卷积神经网络中的参数如卷积核个数、卷积核和池化层尺寸、超参数等参数看错一个个体中的基因，多个个体组成一个种群，种群在每代繁衍中基因进行遗传、突变、重组等，根据适者生存的原则，只有携带基因能够很好地适应环境的个体，才能达到环

今天运行一个机器学习的模型，刚开始得到的损失函数图像一直是下面这样：反正基本是直的，就挺离谱，弄了好久都不知道为什么。后面终于弄懂了，原来我的数据x都是在0-1之间的，数值都很小，而我使用的损失函数没有求平均，用的是sum，所以即使梯度下降了，我的整个损失也只有轻微的变化，在图像上就当然看不出来了。把损失函数改成mean的形式就好了：...