机器学习（一）：激活函数（Activation Function）

0. 激活函数

• 上图为wiki上的定义：激活函数定义了每个节点（神经元）的输出和输入关系的函数。

• 下表：常用激活函数

$$\;编号\;$$	$$函数$$	$$公式$$
$$1)$$	$$sigmoid\;(x)$$	$$φ(x) = \dfrac{1}{{1-e^{ \ -x}}}$$
$$2)$$	$$softmax\;(x)$$	$$φ(x) = \dfrac{e^{z_j}}{\sum_{k=1}^Ke^{z_k}}$$
$$3)$$	$$tanh\;(x)$$	$$φ(x) = tanh(x)$$
$$4)$$	$$Scaled\;tanh\;([scaleIN,scaleOUT])$$	$$φ(x) = tanh(α*x)*β$$
$$5)$$	$$ReLU$$	$$φ(x) =max(0,x)$$
$$6)$$	$$Leaky\;ReLU$$	$$f(x)=\begin{cases}x\;\;\;\;\;\;\;\;\;if\;x>0\\0.1x\;\;\;\;otherwise\end{cases}$$
$$7)$$	$$Vary\;Leaky\;ReLU$$	$$a = \dfrac{1}{3}$$
$$8)$$	$$Parametric\;ReLU$$	$$f(x)=\begin{cases}x\;\;\;\;\;\;\;if\;x>0\\ax\;\;\;\;\;otherwise\end{cases}$$
$$9)$$	$$Randomized\;ReLU$$	$$f(x) = max(0,x+Y),with\;Y\sim N(0,\sigma(x))$$
$$10)$$	$$Maxout$$	$$if\;a<0\;,\;f(x) = max(x,ax)$$
$$11)$$	$$elu\;(x)$$	$$φ(x) = (x>0)?x:{e^{x}-1}$$
$$12)$$	$$softplus\;(x)$$	$$φ(x) = log(1+{e^x})$$
$$13)$$	$$linear\;(x)$$	$$φ(x) = x$$