LeNet,AlexNet,VGG,Network in Network(NiN),GoogLeNet,ResNet,DenseNet总结

今天把李沐讲的卷积神经网络视频看完了，现在来总结一下这几个网络结构各自的特点，没看过原论文，可能会有出入，过几天把论文看完之后再作修改。

LeNet

总共七层，所有这些层都包含可训练的参数(权重)：

第一层是卷积层C1，卷积核大小5*5，步长为1，填充为0，输出channels为6（6个feature maps）；

第二层是池化层S2，pool_size为2，步长为2，将前一层的2*2区域取平均，然后乘以可训练系数（权重），再加上一个可训练偏差，并将结果通过sigmoid函数；

第三层是卷积层C3，卷积核大小5*5，步长为1，填充为0，输出channels为16（6个feature maps），此层的feature map与前一层池化层的feature map的连接方式很特别，如下图所示，0-5表示前一层feature map的标号，0-15表示这一层feature map的标号；

连接规则如下：前六个C3特征映射从S2中的三个特征映射的每个连续子集中获取输入。接下来的六个从四个连续子集中获取输入。接下来的三个从四个不连续子集中获取输入。最后，最后一个从所有S2功能映射中获取输入。

第四层是池化层，同上；

第五层、