人工神经网络中的激活函数

写一篇文章介绍下人工神经网络中常用的几种激活函数

1、Sigmoid函数

维基百科定义：A sigmoid function is a bounded, differentiable, real function that is defined for all real input values and has a non-negative derivative at each point. sigmoid函数是一个有界的、可微的、实函数，它是为所有实输入值定义的，并且在每个点上都有一个非负的导数。它把可能在较大范围内变化的输入值挤压到（0,1）输出值范围内，因此有时也称为“挤压函数”（squashing function）.

<