图像识别技术与应用第五课

一、LeNet架构
       用于手写的数字识别，每个卷积层使⽤5×5卷积核和一个sigmoid激活函数。LeNet是由卷积编码器和全连接层密集块两个部分组成
•    卷积编码器：由两个卷积层组成。
•    全连接层密集块：由三个全连接层组成。
二、学习表征
       通常需要从底层特征开始，经过多步非线性转换才能得到。通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。
1、浅层学习：不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取
2、表示学习：如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就可以叫作表示学习
三、视觉分层理论
视觉分层理论，从底层到高层的不断抽象
1、浅层卷积核提取：边缘、颜色、斑块等底层像素特征。
2、中层卷积核提取：条纹、纹路、形状等中层纹理特征。
四、AlexNet架构
1、AlexNet 在 2012 年赢得了ImageNet 竞赛，架构类似LeNet但更深更大
2、主要修改：丢弃法（防止过拟合）、ReLu 激活函数（训练）、最大池化法
3、计算机视觉的范式转变
4、AlexNet与 LeNet相比有所不同。
•    池化窗口更大，更改为最大池化。
•    更大的卷积核，更大的步长，由于图像尺寸增大，输出通道更多。
•    新加了三层卷积层，更多的输出通道数。
•    1000类输出，隐含层大小从120增加到4096.
•    AlexNet比相对较小的LeNet5要深得多
•    将激活函数从 sigmoid 更改为 ReLu（减缓梯度消失）
•    在两个隐含层之后应用丢弃法（更好的稳定性 / 正则化）
•    数据增强
•    AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集
•    新加入了Dropout、ReLU、最大池化层和数据增强
5、AlexNet使⽤ReLU⽽不是sigmoid作为其激活函数。

五、VGG网络
1、VGG19共有16个卷积层和3个全连接层，此外，还有5个最大池化层分布在不同的卷积层之下。
2、VGG块相比于AlexNet：
•    更深和更窄更好
•    多个VGG块后加全连接层
•    VGG使用可重复使用的卷积块来构建深度卷积神经网络
3、不同次数的重复VGG块，可获得不同的架构，例如VGG-16，VGG-19

六、总结
       AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。今天，AlexNet已经被更有效的架构所超越，但它是从浅层⽹络到深层网络的关键一步。新加入了Dropout、ReLU、最大池化层和数据增强