神经网络激活函数定义速查

在这里插入图片描述

一、概述

老猿记心不太好,虽然最近写了两篇博文介绍激活函数:神经网络激活函数列表大全及keras中的激活函数定义:https://blog.youkuaiyun.com/LaoYuanPython/article/details/142731106》、《神经网络高级激活函数大全及keras中的函数定义 https://blog.youkuaiyun.com/LaoYuanPython/article/details/142742719》的介绍,但一到用时就忘记了相关函数的定义,且从这2篇博文翻阅时因内容多比较耗时,因此决定再整理一个激活函数的定义列表。

二、激活函数定义大全

  1. 线性函数linear:该函数不做任何处理,保持原值不变;
  2. 整流线性单元relu:f(x)=max(0,x);
  3. 线性指数激活函数elu: e l u ( x ) = { x if  x > 0 α ∗ ( e x − 1 ) if  x ≤ 0 elu(x) = \{ \begin{array}{ll} x & \text{if } x > 0 \\ \alpha * (e^x-1) & \text{if } x \leq 0 \end{array} elu(x)={xα(ex1)if x>0if x0
  4. 可伸缩指数线性单元SELU: S E L U ( x ) = s c a l e × { x if  x > 0 a l p h a ∗ ( e x − 1 ) if  x ≤ 0 SELU(x) = scale × \{ \begin{array}{ll} x & \text{if } x > 0 \\ alpha * (e^x-1) & \text{if } x \leq 0 \end{array} SELU(x)=scale×{xalpha(ex1)if x>0if x0
  5. softmax函数: s o f t m a x ( x i ) = e x i ∑ j e x j softmax(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}} softmax(xi)=jexjexi
  6. softplus函数: Softplus ( x ) = ln ⁡ ( 1 + e x ) \text{Softplus}(x) = \ln(1 + e^x) Softplus(x)=ln(1+ex)
  7. softsign函数: Softsign ( x ) = x 1 + ∣ x ∣ \text{Softsign}(x) = \frac{x}{1 + |x|} Softsign(x)=1+xx
  8. sigmoid函数: σ ( x ) = 1 1 + e − x σ(x) = \frac{1}{1 + e^{-x}} σ(x)=1+ex1
  9. hard_sigmoid函数: Hard Sigmoid ( x ) = { 0 if  x < − 2.5 1 if  x > 2.5 0.2 x + 0.5 − 2.5 ≤ x ≤ 2.5 \text{Hard Sigmoid}(x) = \begin{cases} 0 & \text{if } x < -2.5 \\ 1 & \text{if } x > 2.5 \\ 0.2x + 0.5 & -2.5 \leq x \leq 2.5\end{cases} Hard Sigmoid(x)= 010.2x+0.5if x<2.5if x>2.52.5x2.5
  10. 自然数指数激活函数exponential: f ( x ) = e x f(x) = e^x f(x)=ex
  11. 双曲正切激活函数(tanh): tanh ⁡ ( x ) = sinh ⁡ ( x ) cosh ⁡ ( x ) = e x − e − x e x + e − x \tanh(x) = \frac{\sinh(x)}{\cosh(x)} = \frac{e^x - e^{-x}}{e^x + e^{-x}} tanh(x)=cosh(x)sinh(x)=ex+exexex
  12. LeakyReLU:LeakyReLU(x)=max(0,x)+α×min(0,x),α值为固定的浮点数
  13. PReLU:PReLU(x,α ) = max(0,x)+αmin(0,x),α值是一个可学习的数组,维度大小与输入数据相同
  14. ThresholdedReLU带阈值的修正线性单元: T h r e s h o l d e d R e L U ( x , θ ) = { x if x > θ  0 otherwise ThresholdedReLU(x,θ) = \{ \begin{array}{ll} x & \text{if x > θ }\\0 &\text{otherwise} \end{array} ThresholdedReLU(x,θ)={x0if x > θ otherwise

三、小结

本文简约介绍了神经网络常用的激活函数计算公式,可以用于不记得激活函数定义者速查。

更多人工智能知识学习请关注专栏《零基础机器学习入门》后续的文章。

更多人工智能知识学习过程中可能遇到的疑难问题及解决办法请关注专栏《机器学习疑难问题集》后续的文章。

写博不易,敬请支持:

如果阅读本文于您有所获,敬请点赞、评论、收藏,谢谢大家的支持!

关于老猿的付费专栏

  1. 付费专栏《https://blog.youkuaiyun.com/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程,对应文章目录为《 https://blog.youkuaiyun.com/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》;
  2. 付费专栏《https://blog.youkuaiyun.com/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理,对应文章目录为《https://blog.youkuaiyun.com/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》;
  3. 付费专栏《https://blog.youkuaiyun.com/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.youkuaiyun.com/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的伴生专栏,是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合,相关资料基本上都是老猿反复研究的成果,有助于OpenCV-Python初学者比较深入地理解OpenCV,对应文章目录为《https://blog.youkuaiyun.com/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录
  4. 付费专栏《https://blog.youkuaiyun.com/laoyuanpython/category_10762553.html Python爬虫入门 》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容,包括爬虫入门的基础知识,以及爬取优快云文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习,第三个专栏请大家结合《https://blog.youkuaiyun.com/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的学习使用。

对于缺乏Python基础的同仁,可以通过老猿的免费专栏《https://blog.youkuaiyun.com/laoyuanpython/category_9831699.html 专栏:Python基础教程目录)从零开始学习Python。

如果有兴趣也愿意支持老猿的读者,欢迎购买付费专栏。

老猿Python,跟老猿学Python!

☞ ░ 前往老猿Python博文目录 https://blog.youkuaiyun.com/LaoYuanPython
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LaoYuanPython

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值