机器学习中三个典型的非线性函数

1. sgn 函数

sgn(x)叫做x的符号函数。sgn是sign的缩写。
它的定义是sgn(x)= 1 (x>0); 
                0 (x=0); 
               -1 (x<0).

2. sigmoid 函数

3.  ReLU 函数

y=max(x,0)

这种函数的设计启发来自于生物神经元对于激励的线性响应，以及当低于某个阈值后就不再响应的模拟。