激活函数

激活函数的分类

1.sigmod函数

 

 

 

特点：可以解释

也叫物流函数，隐用于神经层元型态输出 

取值范围为（0,1） 
它可以将一个实数映射到（0,1）的区间，可以用来做二分类。 
在特征相差比较复杂或是相差不是特别大时效果比较好。

缺点： 

1.有饱和区域

2.只有正输出，不是已0为中心

3，计算量比较大

2.tanh

优点：1可以取负值，以0为中心

3.softmax

softmax把一个k维的真值向量（a1，a2，a3，a4 ....）映射成一个（b1，b2，b3，b4 ....）其中bi是一个0~1的常数，输出神经元之和为1.0，所以相当于概率值，然后可以根据双向的概率大小来进行多分类的任务。

4.rule

靠0点的突变提供非线性能力，整数原样输出，负数直接置0，在整数不饱和，负值硬饱和，比SIGMOD计算更省时

改进>>>①l_rule：②p_relu：负值的斜率是可以学习的

5ELU

特点：具有RELU的优势，输出的均值接近0，有负数的饱和区域，从而对噪声有一定的鲁棒性，可以看做介于RELU和

6.Maxout