本文回顾了深度学习早期的重要网络结构，从LeNet5开始，介绍了AlexNet如何通过引入ReLu激活函数和分布式训练解决计算问题，再到VGG-16的简洁设计，最后讨论了ResNet的残差块如何解决深度网络的梯度消失问题。
过去没有填充，每次处理都会减小图片的大小
过去人们会用Sigmoid(=Logistic)/Tanh，而不会去用ReLu，而且因为过去的运算力不足，所以需要让上一层和这一层的通道数都一样，因此会多出很多放到现在来看不必要的细节
原来的LeNet-5在池化了以后还做了非线性函数处理non-linearity（比如Sigmoid）
AlexNet
→和LeNet-5很像，但是参数多了很多（6000万个参数）
→用了ReLu激活函数
→每个层被拆到不同的GPU上面，然后相互连接，因为当时GPU的处理速度还比较慢
→局部响应归一化层（LRN层）→现在已经不用了
VGG-16
没有很多参数
CONV = 3*3 filter, s=1, same; MAX-POOL = 2*2, s=2
之所以叫VGG-16是因为一共有16个层（包括卷积层和全连接层）
ResNet残差网络
ResNet→Residual Block
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
