深度学习领域最常用的10个激活函数,一文详解数学原理及优缺点

机器学习之常用激活函数 激活函数常用类型有:线性激活函数、符号激活函数、Sigmoid激活函数、tanh激活函数、高斯激活函数、ReLU、GeLU等 阅读详情

选自medium  作者:Sukanya Bag  机器之心编译  编辑:小舟、蛋酱

激活函数是神经网络模型重要的组成部分,本文作者Sukanya Bag从激活函数的数学原理出发,详解了十种激活函数的优缺点。

e0edd15a44aa0182caf11c4b1e65ea67.png

激活函数(Activation Function)是一种添加到人工神经网络中的函数,旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型,激活函数最终决定了要发射给下一个神经元的内容。

在人工神经网络中,一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开(1)或关(0)输出的数字电路激活函数。因此,激活函数是确定神经网络输出的数学方程式,本文概述了深度学习中常见的十种激活函数及其优缺点。

首先我们来了解一下人工神经元的工作原理,大致如下:

b85bda83ee9bfb1cbb891ceab8859fb5.png

上述过程的数学可视化过程如下图所示:

3ea8ca0e002faa47145ebca9e8b9c481.png

1. Sigmoid 激活函数

dc045dd199c3f97430e83f4294b371cf.png

Sigmoid 函数的图像看起来像一个 S 形曲线。

函数表达式如下:

1721e8af9b58f2d67496421eed1d7035.png

在什么情况下适合使用 Sigmoid 激活函数呢?

  • Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1,因此它对每个神经元的输出进行了归一化;

  • 用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1,因此 Sigmoid 函数非常合适;

  • 梯度平滑,避免「跳跃」的输出值;

  • 函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率;

  • 明确的预测,即非常接近 1 或 0。

Sigmoid 激活函数有哪些缺点?

  • 倾向于梯度消失;

  • 函数输出不是以 0 为中心的,这会降低权重更新的效率;

  • Sigmoid 函数执行指数运算,计算机运行得较慢。

2. Tanh / 双曲正切激活函数

4f4d429d68bd5c6d1ba51dcb47aaba91.png

tanh 激活函数的图像也是 S 形,表达式如下:

7f9ca51a9e076adf9e9d24896294631c.png

tanh 是一个双曲正切函数。tanh 函数和 sigmoid 函数的曲线相对相似。但是它比 sigmoid 函数更有一些优势。

3c4b23c5959f60541a8c3b654bd4536f.png

  • 首先,当输入较大或较小时,输出几乎是平滑的并且梯度较小,这不利于权重更新。二者的区别在于输出间隔,tanh 的输出间隔为 1,并且整个函数以 0 为中心,比 sigmoid 函数更好;

  • 在 tanh 图中,负输入将被强映射为负,而零输入被映射为接近零。

注意:在一般的二元分类问题中,tanh 函数用于隐藏层,而 sigmoid 函数用于输出层,但这并不是固定的,需要根据特定问题进行调整。

3. ReLU 激活函数

5f355ac7f897db0a8cb3ad761af9ca46.png

ReLU 激活函数图像如上图所示,函数表达式如下:

bf6d65cec4be5a6175d581c6010f68cc.png

ReLU 函数是深度学习中较为流行的一种激活函数,相比于 sigmoid 函数和 tanh 函数,它具有如下优点:

  • 当输入为正时,不存在梯度饱和问题。

  • 计算速度快得多。ReLU 函数中只存在线性关系,因此它的计算速度比 sigmoid 和 tanh 更快。

当然,它也有缺点:

  1. Dead ReLU 问题。当输入为负时,ReLU 完全失效,在正向传播过程中,这不是问题。有些区域很敏感,有些则不敏感。但是在反向传播过程中,如果输入负数,则梯度将完全为零,sigmoid 函数和 tanh 函数也具有相同的问题;

  2. 我们发现 ReLU 函数的输出为 0 或正数,这意味着 ReLU 函数不是以 0 为中心的函数。

4. Leaky ReLU

它是一种专门设计用于解决 Dead ReLU 问题的激活函数:

41f3813c5f3c4c031b1d9e64615219d0.png

ReLU vs Leaky ReLU

为什么 Leaky ReLU 比 ReLU 更好?

b473455aba4f07abe91a12b2cc159f44.png

  1. Leaky ReLU 通过把 x 的非常小的线性分量给予负输入(0.01x)来调整负值的零梯度(zero gradients)问题;

  2. leak 有助于扩大 ReLU 函数的范围,通常 a 的值为 0.01 左右;

  3. Leaky ReLU 的函数范围是(负无穷到正无穷)。

注意:从理论上讲,Leaky ReLU 具有 ReLU 的所有优点,而且 Dead ReLU 不会有任何问题,但在实际操作中,尚未完全证明 Leaky ReLU 总是比 ReLU 更好。

5. ELU 

d0f852d2a0ebadff1b0423abcd6e9278.png

ELU vs Leaky ReLU vs ReLU

ELU 的提出也解决了 ReLU 的问题。与 ReLU 相比,ELU 有负值,这会使激活的平均值接近零。均值激活接近于零可以使学习更快,因为它们使梯度更接近自然梯度。

bba717b6bd443960acb30ec68bfc154f.png

显然,ELU 具有 ReLU 的所有优点,并且:

  • 没有 Dead ReLU 问题,输出的平均值接近 0,以 0 为中心;

  • ELU 通过减少偏置偏移的影响,使正常梯度更接近于单位自然梯度,从而使均值向零加速学习;

  • ELU 在较小的输入下会饱和至负值,从而减少前向传播的变异和信息。

一个小问题是它的计算强度更高。与 Leaky ReLU 类似,尽管理论上比 ReLU 要好,但目前在实践中没有充分的证据表明 ELU 总是比 ReLU 好。

6. PReLU(Parametric ReLU)

f5428dc7cd750c6030096b97dc0d81a7.png

PReLU 也是 ReLU 的改进版本:

daf88855b726fe0e8eb478f1b959dbf2.png

看一下 PReLU 的公式:参数α通常为 0 到 1 之间的数字,并且通常相对较小。

  • 如果 a_i= 0,则 f 变为 ReLU

  • 如果 a_i> 0,则 f 变为 leaky ReLU

  • 如果 a_i 是可学习的参数,则 f 变为 PReLU

PReLU 的优点如下:

  1. 在负值域,PReLU 的斜率较小,这也可以避免 Dead ReLU 问题。

  2. 与 ELU 相比,PReLU 在负值域是线性运算。尽管斜率很小,但不会趋于 0。

7. Softmax

685c3db08042dfed1056a9cbf4c6eaed.png

Softmax 是用于多类分类问题的激活函数,在多类分类问题中,超过两个类标签则需要类成员关系。对于长度为 K 的任意实向量,Softmax 可以将其压缩为长度为 K,值在(0,1)范围内,并且向量中元素的总和为 1 的实向量。

ef06f4e88ebe0f58f0c9d26b4621a7b7.png

Softmax 与正常的 max 函数不同:max 函数仅输出最大值,但 Softmax 确保较小的值具有较小的概率,并且不会直接丢弃。我们可以认为它是 argmax 函数的概率版本或「soft」版本。

Softmax 函数的分母结合了原始输出值的所有因子,这意味着 Softmax 函数获得的各种概率彼此相关。

Softmax 激活函数的主要缺点是:

  1. 在零点不可微;

  2. 负输入的梯度为零,这意味着对于该区域的激活,权重不会在反向传播期间更新,因此会产生永不激活的死亡神经元。

8. Swish 

a3847c97e92e11b3cfcadf9249521c94.png

函数表达式:y = x * sigmoid (x)

Swish 的设计受到了 LSTM 和高速网络中 gating 的 sigmoid 函数使用的启发。我们使用相同的 gating 值来简化 gating 机制,这称为 self-gating。

self-gating 的优点在于它只需要简单的标量输入,而普通的 gating 则需要多个标量输入。这使得诸如 Swish 之类的 self-gated 激活函数能够轻松替换以单个标量为输入的激活函数(例如 ReLU),而无需更改隐藏容量或参数数量。

Swish 激活函数的主要优点如下:

  • 「无界性」有助于防止慢速训练期间,梯度逐渐接近 0 并导致饱和;(同时,有界性也是有优势的,因为有界激活函数可以具有很强的正则化,并且较大的负输入问题也能解决);

  • 导数恒 > 0;

  • 平滑度在优化和泛化中起了重要作用。

9. Maxout

6c81f28e4c65fcea1957eb40f2111784.png

在 Maxout 层,激活函数是输入的最大值,因此只有 2 个 maxout 节点的多层感知机就可以拟合任意的凸函数。

单个 Maxout 节点可以解释为对一个实值函数进行分段线性近似 (PWL) ,其中函数图上任意两点之间的线段位于图(凸函数)的上方。

17f55fdb8400e763bc2430210362ad92.png

Maxout 也可以对 d 维向量(V)实现:

65cae120203a5550f9a5f4d77e513e92.png

假设两个凸函数 h_1(x) 和 h_2(x),由两个 Maxout 节点近似化,函数 g(x) 是连续的 PWL 函数。

c1f080a8cee2afab8afc4b9f1322b98f.png

因此,由两个 Maxout 节点组成的 Maxout 层可以很好地近似任何连续函数。

7b28ed3093b4d7ede906bbe123f4f9f1.png

10. Softplus

daad704ba6aa52724e538ca623cfccc9.png

Softplus 函数:f(x)= ln(1 + exp x)

Softplus 的导数为

f ′(x)=exp(x) / ( 1+exp⁡ x )

= 1/ (1 +exp(−x ))

,也称为 logistic / sigmoid 函数。

Softplus 函数类似于 ReLU 函数,但是相对较平滑,像 ReLU 一样是单侧抑制。它的接受范围很广:(0, + inf)。

原文链接:https://sukanyabag.medium.com/activation-functions-all-you-need-to-know-355a850d025e

史上最全激活函数总结篇(持续更新ing......) 激活函数系列中提及到的激活函数包括:Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs 阅读详情

相关推荐

激活函数总结(三十五):激活函数补充(KAF、Siren)

本文为前面介绍的激活函数进行了一些激活函数补充,包括:KAF、Siren等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说:KAF现在较少使用,而Siren在图像方面应用较多,有需要的可以关注一下。。。

走在深度学习前沿的小宋 678

详解激活函数

文章目录0️⃣前言1️⃣Sigmoid2️⃣tanh3️⃣Relu4️⃣Leaky Relu5️⃣Softmax6️⃣总结 0️⃣前言 用了这么久的激活函数,抽空总结一下吧,不然总是忘记,这里介绍常用到的sigmoid,tanh,relu,leaky relu,softmax tips:部分图片来自计算机视觉研究院公众号 1️⃣Sigmoid Sigmoid 函数的图像看起来像一个 S 形曲线。 函数表达式如下: 在什么情况下适合使用 Sigmoid 激活函数呢? Sigmoid 函数的输出范围是

进击的扛把子 3436

激活函数 | 深度学习领域最常用的10个激活函数,详解数学原理及优缺点

欢迎关注“计算机视觉研究院”计算机视觉研究院专栏作者:Edison_G激活函数是神经网络模型重要的组成部分,今天分享从激活函数的数学原理出发,详解了十种激活函数的优缺点。激活函数(Acti...

gzq0723的博客 3309

【激活函数】深度学习领域最常用的10个激活函数,一文详解数学原理及优缺点...

点击上方,选择星标,每天给你送干货! 来源:机器之心、信息网络工程研究中心 本文从激活函数的数学原理出发,详解了十种激活函数的优缺点。 激活函数是神经网络模型重要的组成部分,本文作者Suk...

zenRRan的博客 741

深入AI人工智能领域,理解PyTorch的激活函数

激活函数是神经网络中不可或缺的组成部分,它决定了神经元是否应该被激活以及如何将输入信号转换为输出信号。本文旨在全面解析PyTorch框架中激活函数的实现原理、使用方法和最佳实践,帮助深度学习从业者深入理解这一核心概念。激活函数的基本概念和数学原理PyTorch中常见激活函数的实现和使用不同激活函数的比较和选择策略激活函数在实际项目中的应用案例首先介绍激活函数的基本概念和背景知识然后详细分析各种激活函数的数学特性和PyTorch实现接着通过实际案例展示激活函数的应用。

AI 领航者的博客 1093

无人机蜂群作战设计技术详解

构建防御网络,拦截敌方无人机或导弹;无人机蜂群作战设计技术是一种创新的军事应用概念,它基于生物仿生学原理,通过先进的通信技术、自主导航与决策算法,将大量小型、低成本、功能各异的无人机组织成一个高度协同的群体,以执行复杂多样的军事任务。无人机蜂群作战的概念源于自然界中蜜蜂、蚂蚁等生物群体的行为模式,这些生物群体通过简单的个体间的信息交互和分工协作,能够完成远远超出单一个体能力的复杂任务。其中,无人机群体是执行任务的主体,指挥控制系统负责任务分配和决策,通信数据链则保障无人机群体与指挥控制系统之间的信息交换。

专注多旋翼、复合翼无人机技术研究,从事低空经济行业。 2218

【深度学习】深度学习中的10类激活函数

深度学习中常用的的激活函数包括了:sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign、softplus。 激活函数可以分为两大类: 饱和激活函数:sigmoid、 tanh 非饱和激活函数:ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】 相对于饱和激活函数,使用“非...

Nieson2012的专栏 2204

LCZ数据下载及处理-以重庆市为例(完整Python代码)

LCZ数据下载及处理-以重庆市为例(完整Python代码)

WW、forever的博客 614

【深度学习】Java DL4J 2024年度技术总结

在当今数字化浪潮中,深度学习作为人工智能领域的核心驱动力,正以前所未有的速度改变着我们的生活和工作方式。从图像识别到自然语言处理,从医疗诊断到金融预测,深度学习的应用场景无处不在,展现出巨大的潜力和价值。Java作为一门广泛应用于企业级开发的编程语言,以其稳定性、可移植性和丰富的类库资源,在软件开发领域占据着重要地位。然而,传统的Java开发在面对深度学习复杂的模型构建和大规模数据处理时,往往显得力不从心。的出现,为Java开发者打开了一扇通往深度学习世界的大门。DL4J是一个专为Java和Scala。

在技术的广袤天地里,本博客如精准罗盘。剖析前沿科技,深掘代码奥秘,以精炼笔触,带您穿越复杂技术迷宫,速达知识彼岸。 1万+

电路中的DGND、GROUND、GROUND_REF的区别,VREF、VCC、VDD、VEE和VSS的区别?

DGND是数字地,是数字电路部分的公共基准端,用于连接数字电路的接地。

XU157303764的博客 2346

深度学习注意力机制新突破:YOLOv8结合SimAM无参数注意力模块,让目标检测更精准!

在计算机视觉领域,注意力机制已成为提升模型性能的关键技术。然而,传统的注意力模块如SENet、CBAM等往往引入大量额外参数,增加了模型的复杂度和计算负担。本文介绍一种创新的无参数注意力机制——SimAM(Simple Parameter-Free Attention Module),并将其成功应用于YOLOv8目标检测框架。SimAM基于神经科学理论,通过定义能量函数为特征图计算3D注意力权重,无需任何额外参数即可显著提升模型性能。本文详细阐述了SimAM的理论基础、实现原理,并提供了完整的YOLOv8集

YOLO 102

深度学习领域的10个激活函数

一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出,是确定神经网络输出的数学方程式。 1. Sigmoid 激活函数 图像: 函数表达式: 适用范围: (1)输出范围是 0 到 1,对输出进行了归一化 (2)由于概率的取值范围是 0 到 1,可用于将预测概率作为输出的模型 (3)曲线平滑,域内无间断点,,可避免跳跃输出 (4)曲线光滑,任一点可微,可以得出任意两点的斜率 (5)预测结果明确 缺点: (1)梯度消失,随着隐藏层数目的增加,分类准确率反而下降 (2)输出不是以 0 为中心,降低

weixin_44485812的博客 1206

作物生长模型Oryza V3实战1:为什么要研究它

ORYZAV3是水稻生长模拟模型ORYZA2000的最新升级版本(3.5版),作为作物生长模型,它通过数学方法和计算机技术模拟水稻生长发育过程及其与环境条件的相互作用。主要功能包括:模拟不同条件下的水稻生长和产量形成、评估环境胁迫影响、分析土壤碳氮动态以及进行区域尺度模拟。国内应用广泛,科研机构用于气候变化影响评估、灌溉模式比较等研究,并开展参数敏感性分析和应用培训。使用流程分为六个步骤:确定输入参数(气象、土壤、作物三类)、参数校准、设置模拟环境、运行模型、分析结果(输出50个参数)和计算产量(穗干重×收

505

机器学习知识总结 —— 9. 深度学习常用10个激活函数(补充·激活函数与非线性输出)

文章目录1. sigmoid 函数1.1. 函数原型1.2. 函数图与梯度图2. tanh 函数2.1. 函数原型2.2. 函数图与梯度图3. ReLu 函数3.1. 函数原型Dead ReLu 问题3.2. 函数图4. Leaky ReLu 函数4.1. 函数原型4.2. 函数图5. ELU 函数5.1. 函数原型5.2. 函数图6. PReLu 函数6.1. 函数原型7. Softmax 函数7.1. 函数原型8. Swish 函数8.1. 函数原型9. Maxout 函数9.1. 函数原型10. So

老程的技术笔记 3219

SonarQube 完整手册(2026 最新)

摘要: SonarQube是一款静态代码分析(SAST)平台,支持20+语言(如Java/Go/Python),提供Bug、漏洞、代码异味等检测,集成DevOps流水线。其架构包含服务端、扫描器和SonarLint插件。2026年四大版本:免费社区版(基础功能)、开发者版(多分支/PR分析)、企业版(合规治理)、数据中心版(高可用集群)。核心功能包括质量门禁(QualityGate)、密钥泄露检测及六大质量指标。部署推荐Docker+PostgreSQL,扫描支持Maven/CLI方式。

SmallBull的博客 677

部署OpenClaw(ClawdBot、MoltBot)后访问localhost:18789报1008错误怎么办?

部署openclaw(曾用名ClawdBot、MoltBot)后访问localhost:18789出现1008授权错误❌?本文分享如何快速解决这个问题✅

XiaoqiangClub的博客 1万+

探索Sigmoid与ReLU激活函数:从数学原理到实践应用

本文将带您深入了解sigmoid和ReLU的奥秘,从工作原理到实现细节,再到在深度学习中的应用。通过本文的探讨,您将掌握激活函数的精髓,为您的神经网络设计和开发提供有力支持。

创作高质量博文,分享知识,共同进步! 3609

网络安全 | 企业网络安全的十大挑战及解决方案

网络安全 | 企业网络安全的十大挑战及解决方案,随着信息技术的飞速发展,企业数字化转型进程不断加速,网络安全问题日益成为企业运营与发展面临的关键挑战。本文深入剖析企业网络安全的十大挑战,包括网络攻击日益复杂、数据泄露风险、内部威胁、物联网安全、云安全、合规性要求、移动办公安全、供应链安全、人才短缺以及安全预算有限等,并针对每个挑战详细阐述相应的解决方案,旨在为企业构建全面、有效的网络安全体系提供指导与参考,助力企业在复杂多变的网络环境中保障自身信息资产安全,实现可持续发展。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 4万+

深度学习激活函数:从 Sigmoid 到 GELU 的演变历程

除了上述主要的激活函数外,深度学习领域还涌现了许多新型激活函数。Swish:由 Google Brain 团队在 2017 年提出,公式为:Swish 结合了 Sigmoid 的门控机制和线性部分,在多个任务上表现优异​。Mish:2019 年提出的自门控激活函数,公式为:Mish 在保持非单调性的同时,具有更好的正则化效果​。GLU(门控线性单元):公式为:其中 σ 是 Sigmoid 函数,⊙表示元素级乘法。

2401_88885149的博客 1426

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

深度学习基础模块之二:激活函数

激活函数的总结

guo___ke的博客 241

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Sigmoid、rula、tanh激活函数(python实现)

目录 一、定义 1.1 激活函数定义 1.2Sigmoid函数 1.3 Tanh / 双曲正切激活函数 1.4ReLU 激活函数 二、代码 三、结果 一、定义 1.1 激活函数定义 激活函数(Activation Function)是一种添加到人工神经网络中的函数,旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型,激活函数最终决定了要发射给下一个神经元的内容。 在人工神经网络中,一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电...

maggieyiyi的博客 5202

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

上一篇: 一位中科院自动化研究所博士毕业论文的致谢
下一篇: 计算机视觉课程第十二讲-OpenCV的整体框架介绍上半部分
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值