本文探讨了深层神经网络在训练中遇到的梯度消失和爆炸问题，以及如何通过引入残差学习框架来改善这一状况。研究发现，使用残差网络即使在更深的层次上也能保持良好的训练和测试精度，例如在ImageNet竞赛中，152层的残差网络在保持较低复杂度的同时，实现了优于VGG网络的性能。文章还介绍了通过构造残差块使得网络能够学习到恒等映射，从而有效地优化深层网络的学习过程。
【没读完，先保存，可以先划走】
第一次读：
Deep Residual Learning
深的神经网络难以训练——使用残差神经网络
学习残差函数的相对于层输入的方法
ImageNet，152层深度，8*Vgg但更低的复杂度，3.57%的错误率，2015ImageNet竞赛冠军
仅仅把CNN换成了残差网络，效果好了很多
一些公式和表格：
1. 第一页的比较好看的图：
56层的网络相较于26层的，误差更大：训练不动
2. 使用残差网络后，使用34层的训练精度和测试精度都更高（下面有表格）
【第二次读，精读】
1. Intro
很深的网络的问题：深度很深的时候梯度爆炸，消失；
-》初始化时权重要合适；在中间加入归一化
使用这些技术会收敛，但精度会变差。这些不是过拟合导致的（训练误差和测试误差全部变大。
考虑较浅的层（与较深的对应）可以x-》x，但实际上较深的网络学不出来identity。
【本文】提出构造方法：deep residual learning framework、
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
