深度学习（六）

卷积神经网络

经典的卷积神经网络

LeNet：是较早用于手写识别的神经网络，输入时较小的灰度图片，经过卷积，尺寸不断变小，深度不断加深，最终实现较好的识别；
AlexNet
VGG16

残差块（Residual block/Skip connection）

指的是某一层的信息直接传递到较深的一层中，具体操作是较深的一层在激活函数作用之前直接加上较浅的一层的信息
使用残差网络能够将网络训练的更深，一定程度上避免梯度消失跟爆炸

1*1卷积

可以压缩信道，即实现了降维，也可以进行升维操作

inception网络

1、原理如图所示：

inception网络不需要人为进行设计，而是通过网络自行学习需要采用何种过滤器或者是否需要池化层
一种减小运算代价的方法是使用1*1卷积，如下所示：

数据扩充

1、常用方法：随机裁剪、镜像、色彩转换