一步一步分析讲解神经网络基础-activation function

activation function：在神经网络中经常，看到它的身影。那现在问题来啦。它是什么？为什么需要它？
有些回答：增加非线性特征。解决线性无法分割的难题，…。严格来讲这些回答太笼统。
第一个问题：先来回答它是什么？
它是一个non-linear function.
是一个连续的函数，
并且在定义域内处处可微。
（可微，不一定可导。这是微分的基础知识，不太清楚的童鞋，一定要把断点，可（偏）微，可（偏）导，全微搞清楚）下面常用激活函数表：
名称，点图，公式，一阶导数，值域，定义域。

In computational networks, the activation function of a node defines the output of that node given an input or set of inputs. A standard computer chip circuit can be seen as a digital network of activation functions that can be “ON” (1) or “OFF” (0), depending on input. This is similar to the behavior of the linear perceptron in neural networks. However, only nonlinear activation functions allow such networks to compute nontrivial problems using only a small number of nodes. In artif