算法笔记(二)激活函数

深度学习中的激活函数：ReLU、Sigmoid与Tanh的比较

最新推荐文章于 2023-03-08 14:26:46 发布

原创

最新推荐文章于 2023-03-08 14:26:46 发布 · 412 阅读

CC 4.0 BY-SA版权

文章标签：

前言

节省计算量：sigmoid等函数在反向传播求误差梯度时，求导涉及除法和指数运算，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多。
对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，模型权重难以更新），这种现象称为饱和，从而无法完成深层网络的训练。而ReLU就不会有饱和倾向，不会有特别小的梯度出现。
Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。

在这里插入图片描述

公式：
$σ(z)=11+e−z\sigma(z)=\frac{1}{1+e^{-z}}$
导数：
$σ′(z)=0−1∗(−e−z)(1+e−z)2=e−z(1+e−z)2=e−z(1+e−z)∗1(1+e−z)=1+e−z−1(1+e−z)∗σ(z)=(1−σ(z))∗σ(z)\begin{aligned} \sigma'(z)&=\frac{0-1*(-e^{-z})}{(1+e^{-z})^2} \\ &=\frac{e^{-z}}{(1+e^{-z})^2} \\ &=\frac{e^{-z}}{(1+e^{-z})}*\frac{1}{(1+e^{-z})} \\ &=\frac{1+e^{-z}-1}{(1+e^{-z})}*\sigma(z)\\ &=(1-\sigma(z))*\sigma(z) \end{aligned}$