第一篇：激活函数

激活函数是神经网络中重要的关键元素之一。如果没有激活函数，神经网络就是一个线性组合的函数，而生活中绝大多数模型均是非线性的，因此模型的可扩展性非常差，其效果并不比罗辑回归更好。而在神经网络中加入激活函数，就增加了神经网络的非线性。

比如XOR（抑或函数），无法通过原始线性模型实现。比如XOR中，x1和x2是输入，x1=0时，模型的输出必须随着x2的增大而增大，而x1=1是，模型的输出必须随着x2的增大而减小。线性模型不能使用x1的值来改变x2的系数，从而不能解决这个问题。（可以类比FMEA中的单点失效和多点失效，FMEA无法分析多点失效的情况，假设因子是解耦的，x1的输入不影响x2对结果的变化（斜率））。而通过由神经网络提取的特征（前提是必须使用非线性函数来描述这些特征，大多数神经网络通过仿射变换之后紧跟着一个被成为激活函数的固定非线性函数来实现这个目标）表示的变换空间中，线性模型现在可以解决这个问题。

常用的激活函数有ReLU（整流线性单元），sigmoid（会存在梯度消失现象，但在一些二分类中仍然使用，因为输出介于0和1之间，比较方便）等。

ReLU激活函数是被推荐用于大多数前馈神经网络但默认激活函数。将此函数用于线性变换但输出将产生非线性变换。然而，函数仍然非常接近线性。在某种意义是那个它是具有两个线性部分但分段线性函数。由于ReLU几乎是线性的，因此它们保留了许多使得线性模型易于使用基于梯度的方法进行优化的属性，还保留了许多使得线性模型能够泛化良好的属性。