阶跃函数和激活函数

1，线性函数是一条笔直的直线 

2， 阶跃函数和激活函数都是非线性函数  

    阶跃函数：    y =f(x)

                      输入x大于 0 ，  输出y=1

                       输入x小于0，    输出y=0

     激活函数sigmoid：

 

             h(x)  输出（0-1）之间    ,exp(−x)表示e −x 的意思。e是纳皮尔常数2.7182

     

3,   激活函数 sigmoid  输出值 在（0-1）之间，  阶跃函数 输出不是0 就是1 ，  

4， ReLU  是一种神经网络中用的比较多的 激活函数，它的输出值（0--无穷大），他的逻辑很简单 ：