常见问题1-为什么神经网络中经常在Conv层后添加ReLU作为激活函数

        相信大家在学习神经网络的过程中，尤其是在搭建一些神经网络的过程中总是见到在Conv层后添加ReLU作为激活函数的现象，目前我也是在学习阶段，然后就自己求证了这个问题，与大家分享：

        我们知道，如果不使用激活函数无论你神经网络有多少层，输出都是输入的线性组合，这相当于最原始的感知机，这种情况下网络的逼近程度就相当有限，因此我们决定引入非线性函数作为激励函数，这样深层神经网络表达能力就更加强大（不再是输入的线性组合，而是几乎可以逼近任意函数）。

选取合适的激活函数对神经网络有什么重要意义

        层数比较多的神经网络模型在训练的时候会出现梯度消失和梯度爆炸问题。梯度消失问题和梯度爆炸问题一般会随着网络层数的增加变得越来越明显。梯度消失会使网络训练不动，甚至使模型的学习停滞不前。梯度爆炸一般出现在深层网络和权值初始化值太大的情况下，梯度爆炸会引起网络不稳定，最好的结果是无法从训练数据中学习，而最坏的结果是出现无法再更新的NaN权重值。

        例如，一个网络含有三个隐藏层，梯度消失问题发生时，靠近输出层的hidden layer 3的权值更新相对正常，但是靠近输入层的hidden layer1的权值更新会变得很慢，导致靠近输入层的隐藏层权值几乎不变，仍接近于初始化的权值。这就导致hidden layer 1 相当于只是一个映射层，对所有的输入做了一个函数映射，这时此深度神经网络的学习就等价于只有后几层的隐藏层网络在学习。梯度爆炸的情况是：当初始的权值过大，靠近输入层的hidden layer 1的权值变化比靠近输出层的hidden layer 3的权值变化更快，