卷积神经网络基础-优快云博客

本文链接：https://blog.youkuaiyun.com/u010626937/article/details/81022402

卷积神经网络的基本知识

卷积神经网络主要会涉及到：卷积层（主要核心）、激活函数、池化层、全连接层。这面我们分别介绍一下。

卷积层

作用

它的主要作用是来进行特征提取

假设输入图像是32* 32* 3，3是它的深度（即R、G、B），卷积层是一个553的filter(感受野)，这里注意：感受野的深度必须和输入图像的深度相同。通过一个filter与输入图像的卷积可以得到一个28281的特征图，下图是用了两个filter得到了两个特征图。
在这里插入图片描述通常我们会使用多层卷积层来得到更深层次的特征图。如下：

再比如：

其计算过程如下图所示

在这里插入图片描述
整体过程：输入图像和filter的对应位置元素相乘再求和，最后再加上b,得到特征图。 具体过程：如图中所示，filter w0的第一层深度和输入图像的蓝色方框中对应元素相乘再求和得到0，其他两个深度得到2，0，则有0（第一层加权和）+2（第二层加权和）+0（第三层加权和）+1（偏置）=3即图中右边特征图的第一个元素3.，卷积过后输入图像的蓝色方框再滑动，stride=2，如下：
在这里插入图片描述
如上图，完成卷积，得到一个3* 3*2的特征图；在这里还要注意一点，在本示例中是加入了zero pad项，即为图像加上一个边界，边界元素均为0.（对原输入无影响）一般有

若F=3 则 zero pad with 1（即四周加入1层0）

若F=5 则 zero pad with 2 （即四周加入2层0）

若F=7则 zero pad with 3,边界宽度是一个经验值，加上zero pad这一项是为了使输入图像和卷积后的特征图具有相同的维度（注意这里是假设stride=1的时候），如：

输入为5* 5* 3，filter为3* 3* 3，在zero pad 为1。
则加上zero pad后的输入图像为7* 7* 3，则卷积后的特征图大小为5* 5*1，因为（7-3）/1+1=5，与输入图像一样；

而关于特征图的大小计算方法具体如下：

在这里插入图片描述

权值共享

卷积层还有一个特性就是“权值共享”原则，下面解释一下，为什么要权值共享。
在这里插入图片描述
如没有这个原则，则特征图由10个32* 32* 1的特征图组成，即每个特征图上有1024个神经元，每个神经元对应输入图像上一块5* 5* 3的区域，即一个神经元和输入图像的这块区域有75个连接，即75个权值参数，则共有75 * 1 024* 10=768000个权值参数，这是非常复杂的，因此卷积神经网络引入“权值”共享原则，即一个特征图上每个神经元对应的75个权值参数被每个神经元共享，这样则只需75*10=750个权值参数，而每个特征图的阈值也共享，即需要10个阈值，则总共需要750+10=760个参数。

补充：

（1）对于多通道图像做1*1卷积，其实就是将输入图像的每个通道乘以系数后加在一起，即相当于将原图中本来各个独立的通道“联通”在了一起；

（2）权值共享时，只是在每一个filter上的每一个channel中是共享的；

激活函数

首先，激活函数不是真的要去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来，即负责将神经元的输入映射到输出端。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神将网络可以更好地解决较为复杂的问题。
比如：
在这里插入图片描述
如上图所示，在最简单的情况下，数据是线性可分的，只需要一条直线就已经很好的进行分类了。
但是，如果情况变得复杂一些了呢，比如下面的数据：

如上图所示的数据，就变成了线性不可分的情况，在这种情况下，简单的一条直线就已经不能够对样本进行很好的分类了。
于是，我们尝试引入非线性的因素，对样本进行分类。
在这里插入图片描述
在神经网络中也类似，我们需要引入一些非线性的因素，来更好地解决复杂的问题。而激活函数恰好能够帮助我们引入非线性因素，它使得我们的神经网络能够更好地解决较为复杂的问题。

总结：
激活函数只是一个抽象的概念，使用激活函数是为了让中间输出多样化，能够处理更加复杂的问题。

如果不使用激活函数的话，每一层最后输出的都是上一层输入的线性函数，不过加多少层神经网络，我们最后的输出也只是最开始输入数据的线性组合而已。激活函数给神经元引入了非线性因素，当加入多层神将网络的时候，就可以让神经网络拟合任何线性函数及非线性函数，从而使得神经网络可以适用于更多的非线性问题，而不仅仅是线性问题。

激活函数的定义及其相关概念

上图是神经网络中的一个典型的神经元设计，它完全仿照人类大脑中神经元之间传递数据的模式进行设计。大脑中，神经元通过若干树突（dendrite）的突触（synapse），接受其他神将元的轴突（axon）或者树突传递来的消息，而后经过处理再由轴突输出。

在这里，每个xi 是其他神经元的轴突传来的消息，每个wi 是突触对消息的影响，每个wixi 则是神经元树突上传递的消息。这些消息经由神经元整合后（z(x→;w→,b)=∑iwixi+b）再激活输出（f(z)）。这里，整合的过程是线性加权的过程，各输入特征 xi 之间没有相互作用。激活函数（active function）一般来说则是非线性的，各输入特征 xi 在此处相互作用。

在实际应用中，我们还会涉及到以下的一些概念：
a.饱和
当一个激活函数h(x)满足

limn→+∞h′(x)=0

时我们称之为右饱和。

当一个激活函数h(x)满足

limn→−∞h′(x)=0

时我们称之为左饱和。当一个激活函数，既满足左饱和又满足又饱和时，我们称之为饱和。
b.硬饱和与软饱和
对任意的xx，如果存在常数cc，当x>cx>c时恒有 h′(x)=0则称其为右硬饱和，当x<cx<c时恒有h′(x)=0则称其为左硬饱和。若既满足左硬饱和，又满足右硬饱和，则称这种激活函数为硬饱和。但如果只有在极限状态下偏导数等于0的函数，称之为软饱和。

注意，因为神经网络的数学基础是处处可微（因为涉及到优化求导数的操作），因此所选取的激活函数要能保证数据输入与输出也是可微的，运算特征是不断进行循环计算的，所以在每代循环过程中，每个神经元的值也是在不断变化的。

如果你不清楚，为什么神经网络中经常使用以下非线性函数来作为激活函数，强烈建议你阅读这里推荐的内容:(1)神经网络中激活函数的真正意义？一个激活函数需要具有哪些必要的属性？还有哪些属性是好的属性但不必要的？ (看一些高赞回答，认真思考！);(2)激活函数，你真的懂了吗？; (3)浅析激活函数之Relu函数；（4）为什么要使用relu激活函数

Sigmoid函数
$f(x)=\frac{1}{1+e^{-x}}$

函数对应的图像是：
在这里插入图片描述

优点：
1、Sigmoid函数的输出映射在（0，1）之间，单调连续，输出范围有限，优化稳定，可以用作输出层。可以作为概率，辅助模型解释。
2、求导容易,可以直接通过原函数进行计算。（ $f^{'} (x) = f (x) (1 - f (x))$ ）

缺点：
1、由于其软包和性，容易产生梯度消失的问题，导致训练出现问题，对于深度网络的训练不太适合（从上图的sigmoid的导数图像可以看出，其导数值是永远小于1的，最大才为0.25）。
2、其输出并不是以（0，0）为中心的。

tanh函数
现在，比起sigmoid函数，我们通常更倾向于tanh函数，tanh函数被定义为双切正切曲线，过（0，0）点。

函数公式：
在这里插入图片描述
相应的
函数曲线如下：

优点：
1、函数输出以（0，0）为中心
2、收敛速度对于sigmoid更快
缺点：
1、tanh并没有解决sigmoid梯度消失的问题。

谈谈激活函数以零为中心的问题

在这里我们重点讲sigmoid函数输出值不以(0,0)为中心的这一缺点。

收敛速度
这里首先需要给收敛速度一个诠释。模型的最优解即是模型参数的最优解。通过逐轮迭代，模型参数会被更新到接近其最优解。这一过程中，迭代轮次多，则我们说模型收敛速度慢，反之，迭代轮次少，则我们说模型收敛速度快。
参数更新

深度学习一般的学习方法是反向传播，简单来说，就是通过链式法则，求解全局损失函数L(x->)对某一参数w的偏导数（梯度）;而后辅以学习率η,向梯度的反方向更新参数w：
$w←w−η⋅\frac{∂L}{∂w}$
考虑学习率 η 是全局设置的超参数，参数更新的核心步骤即是计算 $\frac{∂L}{∂w}$ 。再考虑到对于某个神经元来说，其输入与输出的关系是:
$f(x→;w→,b)=f(z)=f(∑_iw_ix_i+b)$
因此，对于参数 $w_i$ 来说，
$\frac{∂L}{∂w_i}=\frac{∂L}{∂f}\frac{∂f}{∂z}\frac{∂z}{∂w_i}=xi⋅\frac{∂L}{∂f}\frac{∂f}{∂z}.$
因此，参数的更新步骤就变为：
$w_i←w_i−ηxi⋅\frac{∂L}{∂f}\frac{∂f}{∂z}$

更新方向
由于 $w_i$ 是上一轮迭代的结果，此处可视为常数，而 η 是模型超参数，参数 $w_i$ 的更新方向实际上由 $x_i⋅\frac{∂L}{∂f}\frac{∂f}{∂z}$ 决定。

又考虑到 $\frac{∂L}{∂f}\frac{∂f}{∂z}$ 对于所有的 $w_i$ 来说是常数，因此各个 $w_i$ 更新方向之间的差异，完全由对应的输入值 $x_i$ 的符号决定。
以零为中心的影响
至此，为了描述方便，我们以二维的情况为例。亦即，神经元描述为

$f(x→;w→,b)=f(w_0x_0+w_1x_1+b)$ .

现在假设，参数 $w_0$ , $w_1$ 的最优解 $w_0^∗,$ $w_1^∗$ 满足条件

$w_0<w_0^∗,w_1⩾w_1^∗$ .
这也就是说，我们希望 w0 适当增大，但希望 w1 适当减小。考虑到上一小节提到的更新方向的问题，这就必然要求 x0 和 x1 符号相反。

但在 Sigmoid 函数中，输出值恒为正。这也就是说，如果上一级神经元采用 Sigmoid 函数作为激活函数，那么我们无法做到 x0 和 x1 符号相反。此时，模型为了收敛，不得不像逆风前行的风助力帆船一样，走 Z 字形逼近最优解。
在这里插入图片描述
如图，模型参数走绿色箭头能够最快收敛，但由于输入值的符号总是为正，所以模型参数可能走类似红色折线的箭头。如此一来，使用 Sigmoid 函数作为激活函数的神经网络，收敛速度就会慢上不少了。

ReLU函数
最近几年很常用的激活函数

公式入下：
在这里插入图片描述
优点：
1、在SGD中收敛速度要比sigmoid和tanh快得多；
例如在下图的实验中，在一个四层的卷积神经网络中，实线代表了ReLU，虚线代表了tanh，ReLU比起tanh更快地到达了错误率0.25处。据称，这是因为它线性、非饱和的形式。
在这里插入图片描述 2、Sigmoid和tanh涉及了很多很expensive的操作（比如指数），ReLU可以更加简单的实现。
3、有效地解决了梯度消失的问题；
4、对神经网络可以使用稀疏表达；
5、在没有无监督预训练的时候也能有较好的表现。