Roaddd的博客

激活函数softmax

       Swish 激活函数已经被证明是一种比 ReLU 更佳的激活函数，但是相比 ReLU，它的计 算更复杂，因为有 sigmoid 函数。为了能够在移动设备上应用 swish 并降低它的计算开销， 提出了 h-swish。● swish 激活函数：● h-swish 激活函数：● 图像...

Swish：Self-gated activation function（2017）Swish图像：Swish公式：当β=1 时：Swish导数：Swish特点：

优点：a. 克服梯度消失的问题b. 加快训练速度缺点：a. 0 点连续不可导（直上直下），梯度下降过程中不那么流畅。b. ReLU 只有正值，没有负值，bp 时有 zigzag 现象， 容易陷入局部最优。c. 当 x<0 时，结果为0，有信息损失。对于缺点b解释如下：       公式第一行是正向传播计算公式，其中x为经过激活函数后的上一个神经元，f 为当前神经元，如果使用ReLU激活函数的话，x的值是大于

● Mish公式：● Mish图像：● 导数：● Mish优点：● 和其他激活函数的比较：

       卷积之后通常会接一个 ReLU 非线性激活，在 MobileNet 中使用 ReLU6。ReLU6 就是普 通的 ReLU 但是限制最大输出为 6，这是为了在移动端设备 float16/int8 的低精度的时候也能 有很好的数值分辨率。如果对 ReLU 的激活范围不加限制，输出范围为 0 到正无穷，如果激 活值非常大，分布在一个很大的范围内，则低精度的 float16/int8 无法很好地精确描述如此 大范围的数值，带来精度

论文地址：https://arxiv.org/pdf/1502.01852.pdf论文题目：Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet ClassificationPRelu激活函数       PReLU(Parametric Rectified Linear Unit), 顾名思义：带参数的ReLU。二者的定义和区别如下