吴恩达卷积神经网络笔记（2）—深度卷积网络:实例研究

一、 经典的卷积网络

1. LeNet-5
2. AlexNet
3. VGG
4. ResNet
5. Inception

1.1 LeNet-5(Lecun)

6000 个参数
Gradient-based learning applied to document recognition(1998)

1.2 AlexNet (Hinton)

6000万个参数
ImageNet classification with deep convolutional neural networks(2012)

1.3 VGG-16

1.38亿个参数
Very deep convolutional networks for large-scale image recongnition(2015)

1.4 VGG-19

二、残差网络(ResNet)

应用残差网络可以训练更深的神经网络
short-cut
Deep residual networks for image recognition(2015)

plain network :从经验来看，随着你增加网络层数，训练误差会呈现出一开始趋于降低，然后再上升的趋势。理论上将随着网络层数的增加视乎训练误差应该逐渐下降
残差网络：随着网络层数的增加训练误差会逐渐下降

三、残差网络为什么有用

四、网络中的网络

1*1
Network in Network