神经网络激活函数定义速查

一、概述

老猿记心不太好，虽然最近写了两篇博文介绍激活函数：神经网络激活函数列表大全及keras中的激活函数定义：https://blog.youkuaiyun.com/LaoYuanPython/article/details/142731106》、《神经网络高级激活函数大全及keras中的函数定义 https://blog.youkuaiyun.com/LaoYuanPython/article/details/142742719》的介绍，但一到用时就忘记了相关函数的定义，且从这2篇博文翻阅时因内容多比较耗时，因此决定再整理一个激活函数的定义列表。

二、激活函数定义大全

1. 线性函数linear：该函数不做任何处理，保持原值不变；
2. 整流线性单元relu：f(x)=max(0,x)；
3. 线性指数激活函数elu： e l u ( x ) = { x if  x > 0 α ∗ ( e x − 1 ) if  x ≤ 0 elu(x) = \{ \begin{array}{ll} x & \text{if } x > 0 \\ \alpha * (e^x-1) & \text{if } x \leq 0 \end{array} elu(x)={xα∗(ex−1)​if x>0if x≤0​
4. 可伸缩指数线性单元SELU： S E L U ( x ) = s c a l e × { x if  x > 0 a l p h a ∗ ( e x − 1 ) if  x ≤ 0 SELU(x) = scale × \{ \begin{array}{ll} x & \text{if } x > 0 \\ alpha * (e^x-1) & \text{if } x \leq 0 \end{array} SELU(x)=scale×{xalpha∗(ex−1)​if x>0if x≤0​
5. softmax函数：$$softmax(x_i)=\frac{e^{x_i}}{{\sum }_j{e}^{x_j}}$$
6. softplus函数：$\text{Softplus}(x)=\ln (1+e^x)$
7. softsign函数：$$\text{Softsign}(x)=\frac{x}{1+|x|}$$
8. sigmoid函数：$$\sigma (x)=\frac{1}{1+e^{-x}}$$
9. hard_sigmoid函数：$$\text{Hard Sigmoid}(x)=\{\begin{array}{ll}0& \text{if }x<-2.5\\ 1& \text{if }x>2.5\\ 0.2x+0.5& -2.5\le x\le 2.5\end{array}$$
10. 自然数指数激活函数exponential：$f(x)=e^x$
11. 双曲正切激活函数（tanh）：$$\tanh (x)=\frac{\sinh (x)}{\cosh (x)}=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
12. LeakyReLU：LeakyReLU(x)=max(0,x)+α×min(0,x)，α值为固定的浮点数
13. PReLU：PReLU(x,α ) = max(0,x)+αmin(0,x)，α值是一个可学习的数组，维度大小与输入数据相同
14. ThresholdedReLU带阈值的修正线性单元： T h r e s h o l d e d R e L U ( x , θ ) = { x if x > θ  0 otherwise ThresholdedReLU(x,θ) = \{ \begin{array}{ll} x & \text{if x > θ }\\0 &\text{otherwise} \end{array} ThresholdedReLU(x,θ)={x0​if x > θ otherwise​

三、小结

本文简约介绍了神经网络常用的激活函数计算公式，可以用于不记得激活函数定义者速查。

更多人工智能知识学习请关注专栏《零基础机器学习入门》后续的文章。

更多人工智能知识学习过程中可能遇到的疑难问题及解决办法请关注专栏《机器学习疑难问题集》后续的文章。

写博不易，敬请支持：

如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

关于老猿的付费专栏

1. 付费专栏《https://blog.youkuaiyun.com/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.youkuaiyun.com/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
2. 付费专栏《https://blog.youkuaiyun.com/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.youkuaiyun.com/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
3. 付费专栏《https://blog.youkuaiyun.com/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.youkuaiyun.com/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.youkuaiyun.com/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录 》
4. 付费专栏《https://blog.youkuaiyun.com/laoyuanpython/category_10762553.html Python爬虫入门 》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取优快云文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.youkuaiyun.com/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的学习使用。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.youkuaiyun.com/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。

老猿Python，跟老猿学Python！

☞ ░ 前往老猿Python博文目录 https://blog.youkuaiyun.com/LaoYuanPython ░