激活函数

激活函数也叫激励函数。激励函数必须是非线性，因为激励函数的非线性才可以解决非线性问题。如果不使用激励函数（相当于fx=x）或者使用线性激励函数，那么可以认为，神经网络每一层都相当于矩阵相乘，多少层都可以叠加成一层。

sigmoid比起relu的优势

1）单侧抑制
2）相对宽阔的兴奋边界
3）稀疏激活性。