卷积神经网络基本部件

卷积层

卷积是一种局部操作，通过一定大小的卷积核作用于局部图像区域获得图像地局部信息。

所谓卷积核就是3*3或者5*5等的矩阵，通过将矩阵与原矩阵进行单个矩阵元素的相乘并将所有值相加并且作为窗口进行滑动，对整个图像矩阵进行操作，最后获取代表图像信息的矩阵。

汇合层

汇合层不包含需要学习的参数，使用时仅需指定汇合类型（average或max等）、汇合操作的步长等超参数即可。

平均值（最大值）汇合就是在每次操作时，将汇合核覆盖区域中所有值的平均值（最大值）作为汇合结果。

随机汇合介于二者之间，对输入数据按照一定概率大小随机选择。

汇合操作的作用：特征不变性，特征降维，防止过拟合

激活函数层

激活函数层又称为非线性映射层，激活函数的引入是为了增加整个网络的表达能力（即为非线性）。

例：Sigmoid型函数，Relu型函数

Sigmoid型函数f(x)=1/(1+e^-x)

Relu型函数f(x)=max{0,x}={x  if x >=0

                                          0  ifx < 0

 

由于Sigmoid函数存在饱和效应，当x>5或者x<-5时部分梯度接近0，产生饱和效应

所以用Relu函数多一些。

 

全连接层

全连接层在整个卷积神经网络中起到“分类器”的作用。在实际使用中可用卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1*1的卷积；而前层是卷积层的全连接层可以转化为卷积核为h*w的全局卷积，h和w分别为前层卷积输出结果的高和宽。

连接层实际就是卷积核大小为上层特征大小的卷积运算，卷积后的结果为一个节点，就对应全连接层的一个点。

 

目标函数

全连接层是将网络特征映射到样本的标记空间做出预测，目标函数的作用则用来衡量该预测值与真实样本标记之间的误差。在当下的卷积神经网络中，交叉熵损失函数和 ℓ2 损失函数分别是分类问题和回归问题中最为常用的目标函数。