机器学习笔记之~三种常见的激活函数sigmoid，tanh，rectified linear function

激活函数在神经网络中，具有将输入进行运算，得到神经元输出的作用，常见的三种激活函数分别是sigmoid，tanh，rectified linear function，对三种激活函数的定义和解释已经是容易找到的，就不再赘述，主要展示将三种函数绘制在同一个坐标下的曲线图。

可以清晰的看出，三种函数对输入输出之间的映射关系。 

tanh函数是sigmoid函数重新调整的结果，它的输出是[-1,1]，而不是[0,1]，rectified linear function函数是分段线性函数，并且当输入小于0时，值恒为0。

图片来源：http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/