深度学习激活函数及选择原则

**一、激活函数：**一种非线性变换函数。
1、ReLU函数：ReLU(x)=max(x,0)
ReLU函数只保留正数元素，并将负数元素清零。
函数图像如下：

函数求导图像如下：

2、Sigmoid函数：sigmoid(x)=1（1+exp(−x)）
将元素的值变换到0和1之间。
函数图像如下：

函数求导sigmoid′(x)=sigmoid(x)(1−sigmoid(x))，图像如下：

3、tanh函数（双曲正切）：tanh(x)=（1−exp(−2x)）/（1+exp(−2x)）
将元素的值变换到-1和1之间，形状和sigmoid函数的形状很像，但tanh函数在坐标系的原点上对称。
函数图像如下：

函数求导tanh′(x)=1−tanh2(x)，图像如下：

二、激活函数的选择
1、ReLu函数是一个通用的激活函数，目前在大多数情况下使用。但是，ReLU函数只能在隐藏层中使用。
2、用于分类器时，sigmoid函数及其组合通常效果更好。由于梯度消失问题，有时要避免使用sigmoid和tanh函数。
3、在神经网络层数较多的时候，最好使用ReLu函数，ReLu函数比较简单计算量少，而sigmoid和tanh函数计算量大很多。
4、在这里插入代码片在选择激活函数的时候可以先选用ReLu函数如果效果不理想可以尝试其他激活函数。