激活函数Elu、Gelu、Swish、Silu、Sigmoid

已于 2024-09-06 13:49:16 修改
阅读量1k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： python 开发语言
于 2023-04-16 20:16:53 首次发布
原文链接：https://pytorch.org/docs/stable/generated/torch.nn.GELU.html
文章探讨了三种不同的激活函数在神经网络中的应用，包括ReLU的线性特性，GELU的高斯误差线性单元，以及Swish函数（又称Silu），并提供了PyTorch库中对GELU的实现链接，强调了这些函数对模型性能的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

先来张效果对比图：
在这里插入图片描述

Sigmoid

不过（0,0）点：
在这里插入图片描述

ELU（Exponential Linear Unit）

在这里插入图片描述

RELU (Rectified Linear Unit)

在这里插入图片描述

GELU(Gaussian Error Linear Units)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Swish 激活函数也叫Silu

在这里插入图片描述
转载自：

  1. https://mp.weixin.qq.com/s/BY5_NKrSOMQ0o4GxWUeYKA
  2. https://pytorch.org/docs/stable/generated/torch.nn.GELU.html
  3. https://blog.youkuaiyun.com/renwudao24/article/details/44465407
taoqick
关注
激活函数总结（二）：ELU、SELU、GELU激活函数
走在深度学习前沿的小宋
08-08 5154
本文介绍了一些常用的激活函数，包括：ELU、SELU、GELU等激活函数及其在当前激活函数众多的情况下使用的环境。总体而言：GELU激活函数代替RELU成为了一种更为普遍的激活函数！！！
大型语言模型训练中的激活函数演化：ReLU、GELU、Swish/SiLU、QuickGELU、SwiGLU
最新发布
u013250861的博客
06-24 34
在大模型时代，激活函数的设计不再仅是数学上的优雅，更关乎训练效率、梯度稳定性和最终性能。从最初的ReLU，到GELU主导NLP，再到Swish家族和门控机制的加入，我们见证了激活函数从“线性阈值”到“自适应概率控制”的进化。未来的激活函数，可能更加定制化、动态化，甚至与模型结构共同进化。对于LLM开发者而言，选择合适的激活函数依然是提升模型性能的关键步骤之一。如需对应论文、图表和实验数据源，请随时提出，我可以为你补充完整参考资料或代码实现。
激活函数小结：ReLU、ELU、Swish、GELU等
beingstrong的博客
10-14 1万+
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
【Llama源码】激活函数--SiLU (Sigmoid Linear Unit)
OldButSimple的博客
05-29 970
【代码】【Llama源码】激活函数--SiLU (Sigmoid Linear Unit)
深度学习常见的激活函数及图像
kiki5862的博客
05-21 2432
本文总结了当前常见的激活函数，并将其分类为经典基础函数、改进型函数和新一代函数。经典基础函数包括ReLU、Sigmoid、Tanh和Softmax，这些函数在神经网络中广泛应用。改进型函数如LeakyReLU、PReLU和ELU，通过引入参数或调整负值处理方式，解决了经典函数的一些问题。新一代函数如SiLU、Swish、GELU和Mish，具有更平滑的梯度和更强的非线性表达能力，适用于深层网络和复杂任务。每种激活函数都有其独特的公式、图像和特点，适用于不同的应用场景。
SiLu激活函数解释
热门推荐
m0_63260018的博客
06-04 3万+
在yolo v5中，我们使用了SiLu激活函数。
SiLU激活函数
m0_69331164的博客
12-30 1160
SiLU（Sigmoid-Weighted Linear Unit），也被称为，是一种现代激活函数，结合了线性和非线性特性，由Google的研究人员在2017年提出。定义如下：图像如下：可以看到它在 x>0 时接近线性，而在 x
神经网络 - 激活函数（Swish函数、GELU函数）
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
02-28 2402
本文我们学习了神经网络的两种激活函数，分别是Swish函数和GELU函数，为了更好的理解GELU函数，还附加了概率密度函数和累积分布函数的介绍。知识的学习，有时晦涩难懂，但总归需要日积月累、慢慢消化，希望跟我一样正在学习神经网络的同学，不要放弃，持之以恒，向着目标勇敢出发！
【PyTorch】SiLU激活函数
算法与编程之美
08-26 7026
SiLU激活函数
激活函数汇总
Thomas_Cai的记忆殿堂
07-18 902
常见激活函数汇总，包括函数、图像、优缺点、使用场景
新的激活函数B-SiLU和NeLU：ReLU函数的复兴
AI浩
06-14 636
在深度学习架构中建模复杂的激活函数已成为一个独特的研究方向。诸如GELU、SELU和SiLU等函数提供了平滑的梯度和改进的收敛特性，使其成为最先进模型中的热门选择。尽管存在这一趋势，但经典的ReLU函数仍因其简洁性、内在稀疏性以及其他有利的拓扑特性而备受青睐。然而，ReLU单元容易出现不可逆的失活现象——即所谓的“ReLU死亡问题”——这限制了其整体有效性。
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 9189
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
pytorch中SiLU激活函数
qq_45690024的博客
07-22 2万+
silu (x)=x∗ sigmoid(x)
SiLU激活函数讲解
m0_73611175的博客
07-10 4692
SiLU（Swish）激活函数是一种平滑且具有非线性的激活函数，它可以自适应地缩放输入值，从而在某些任务上表现优越。通过 PyTorch 中的nn.SiLU或，我们可以轻松地在神经网络中应用 SiLU 激活函数。
SILU激活函数：深度学习中的智能“开关”
步子哥的博客
07-06 1223
今天，我们要探索一种名为SILU（Sigmoid Linear Unit）的激活函数，它因其独特的特性和潜在的优势而受到关注。在构建神经网络时，你只需在适当的位置插入SILU函数，然后让数据流经它。这里的 ( x ) 是输入信号，而 ( \sigma(x) ) 是sigmoid函数，它将输入压缩到0和1之间。随着研究的深入，我们期待SILU能够在更多场景下发挥其优势，帮助我们构建更加智能和高效的模型。想要了解更多关于SILU的信息，或者在你的项目中尝试使用它，可以查阅相关的。
推荐系统笔记（十二）：常用激活函数gelu、swish等
qq_46006468的博客
08-03 4817
gelu就是高斯误差线性单元，这种激活函数在激活中加入了随机正则的思想，是一种对神经元输入的概率描述。为了方便记忆，这里做简要的笔记。汇总有：Identity、Sigmoid、TanH、Softmax、Softsign、Softplus、ReLU、Leaky ReLU、Randomized ReLU、SELU、GELU。其中在推荐系统的lightGCN中取消使用非线性激活函数。...
[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish
Bin_Dut的博客
04-02 5121
FFN（Feed-Forward Network）块是Transformer模型中的一个重要组成部分，接受自注意力子层的输出作为输入，并通过一个带有 Relu 激活函数的两层全连接网络对输入进行更加复杂的非线性变换。在公式中，首先将输入向量 x 通过一个全连接层（线性变换）得到一个与 x 维度相同的向量，然后将该向量通过Sigmoid函数进行激活。在公式中，Swish函数首先对输入向量 x 进行一个非线性变换，然后通过Sigmoid函数进行激活，并将该激活结果与输入向量 x 逐元素相乘，得到最终的输出值。
YOLOv5改进系列(二) 更换激活函数SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC等
专注于人工智能学习，总结
12-14 7987
1.1 什么是激活函数？在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？首先，我们知道神经网络模拟了人类神经元的工作机理，**激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。**
【DL经典回顾】激活函数大汇总（三）（Swish & GELU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1347
Swish和GELU激活函数是深度学习领域中两个重要的激活函数，它们在多个领域，尤其是自然语言处理（NLP）和计算机视觉（CV）中，表现出了卓越的性能。本文介绍了这两个激活函数。
SiLU函数的表达式和图像是怎样的，它有什么性质？
03-21
<think>好的，我现在需要回答用户关于SiLU激活函数的数学表达式、图像特征及其性质的问题。首先，我要确保自己正确理解SiLU的定义和相关知识。 首先，SiLU（Sigmoid Linear Unit）的数学表达式应该是Sigmoid函数乘以输入x。Sigmoid函数的公式是$\sigma(x) = \frac{1}{1 + e^{-x}}$，所以SiLU的表达式应该是$x \cdot \sigma(x)$，也就是$x \cdot \frac{1}{1 + e^{-x}}$。对吗？不过我需要确认一下是否有其他变体或者不同的表示方式。根据参考资料中的引用[^1]，GELU的表达式涉及高斯误差函数，但SiLU可能与GELU有关联，不过用户明确问的是SiLU，所以可能不需要混淆这两者。另外，用户提供的引用[^3]提到SILU是深度学习中的智能“开关”，可能需要强调其平滑性和可微性。 接下来是图像特征。Sigmoid函数本身是S型曲线，范围在0到1之间。当乘以x后，SiLU函数在x趋近于正无穷时应该趋近于x，因为Sigmoid趋近于1，而x很大时乘积接近x。当x为负很大的时候，Sigmoid趋近于0，所以整个函数趋近于0。中间区域可能有一个平滑的过渡，类似于ReLU但更平滑。可能存在一个非线性的区域，类似于Swish函数（后来想起来Swish其实就是SiLU，有时也被称为Swish，特别是当引入参数β时）。所以图像应该是在负区间平缓地接近零，在正区间线性增长，中间有一个平滑的弯曲。 然后是特性。作为激活函数，SiLU应该具有非线性的性质，允许神经网络学习复杂模式。它的导数应该存在且连续，因为Sigmoid是可导的，乘积法则适用。相较于ReLU，SiLU在负区间不是完全置零，而是有较小的梯度，这有助于缓解死亡神经元的问题，类似Leaky ReLU（引用[^2]提到的Leaky ReLU解决了ReLU的梯度消失问题）。不过SiLU的处理方式不是使用固定的斜率，而是通过Sigmoid调整，这可能带来更自适应的梯度。另外，SiLU的平滑性可能有助于优化时的收敛，尤其是在梯度下降过程中更稳定。 在深度学习的应用场景中，SiLU可能适用于需要平滑激活函数的场合，比如在自然语言处理或计算机视觉任务中，或者在深层网络中需要避免梯度消失的情况下。它可能在某些模型中替代ReLU或其变体，如GELU（引用[^1]），但需要具体实验支持。 现在需要检查是否有遗漏或错误。例如，是否混淆了SiLU和GELU？GELU是另一种激活函数，结合了高斯分布，而SiLU是x乘以sigmoid。用户的问题明确提到SiLU，所以应该正确区分。另外，导数部分是否正确？计算SiLU的导数：导数为σ(x) + x·σ'(x)，而σ'(x) = σ(x)(1 - σ(x))，所以导数为σ(x)(1 + x(1 - σ(x)))？或者可能需要更详细的计算。这部分可能需要准确表达。 在总结特性时，应该强调其平滑性、可导性、非单调性（因为当x很负时，函数值趋近0，但可能存在负值区域吗？不，当x为负时，sigmoid介于0和1，x为负，所以x·σ(x)可能为负，但σ(x)是正数，所以x负时，整个函数为负，对吗？比如当x=-10时，σ(x)接近0，所以SiLU接近0，但x为-1时，σ(-1)=1/(1 + e)≈0.2689，所以x·σ(x)≈-0.2689。所以函数在负区间会有较小的负值输出，这与ReLU不同，ReLU在负区间输出0。而Leaky ReLU在负区间有小的斜率，比如0.01x，而SiLU在负区间的输出是x乘以一个逐渐变小的值，但符号与x一致。因此，SiLU的输出在负区间是负数，但绝对值较小，这类似于Leaky ReLU，但更平滑，且梯度变化更连续。 图像特征方面，当x趋近正无穷，函数趋近于x；当x趋近负无穷，趋近于0（但具体是趋近于0的负方向吗？比如x为很大的负数，σ(x)趋近0，所以xσ(x)趋近于0，但符号为负）。所以图像左侧会有一个逐渐趋向0的负值部分，右侧则线性增长，中间平滑过渡。这可能类似于Swish函数的图像，而Swish确实就是SiLU，特别是当β=1时的Swish函数。 关于性质，需要提到其平滑性带来的好处，比如避免ReLU的硬转折点，使得梯度更稳定，减少训练中的震荡。同时，非零的负值可能帮助信息传递，防止神经元完全死亡，类似Leaky ReLU和ELU的效果。 现在需要将这些整理成结构化的回答，包括数学表达式用$$...$$，行内用$...$，并生成相关问题。同时确保引用正确，比如用户提供的引用[^3]提到SILU的应用场景，但可能没有直接给出数学式，所以需要用自己的话表达，但如果有引用需要标注。例如，引用指出SILU在更多场景下发挥优势，所以可能在特性部分提到其应用潜力。 最后生成相关问题，需要围绕SiLU的其他方面，如与ReLU的比较、导数推导、应用案例、变体等。</think>### SiLU激活函数详解 #### 1. 数学表达式 SiLU（Sigmoid Linear Unit）的数学表达式为： $$ \text{SiLU}(x) = x \cdot \sigma(x) = x \cdot \frac{1}{1 + e^{-x}} $$ 其中$\sigma(x)$是Sigmoid函数。该公式结合了线性输入$x$与Sigmoid的非线性变换，形成平滑的激活特性。 #### 2. 图像特征 - **正区间（$x > 0$）**：当$x$趋近正无穷时，$\sigma(x) \to 1$，此时$\text{SiLU}(x) \approx x$，呈现近似线性增长。 - **负区间（$x < 0$）**：当$x$趋近负无穷时，$\sigma(x) \to 0$，此时$\text{SiLU}(x) \approx 0$，但会保留微小负值（因$x$为负，$\sigma(x)$为正）。 - **过渡区域**：在$x=0$附近，曲线平滑上升，类似“S”型，但整体形状比ReLU更柔和（见图示示例）。 #### 3. 主要特性 1. **平滑性**：SiLU在全体实数域内连续可导，避免了ReLU在$x=0$处的不可导问题。 2. **自适应性**：负值区域的梯度非零，通过$\sigma(x)$动态调整，缓解神经元“死亡”问题。 3. **非单调性**：虽然$\sigma(x)$单调递增，但$x \cdot \sigma(x)$在负区间可能呈现轻微的非单调性（如$x$极小时）。 4. **梯度特性**：导数为： $$ \text{SiLU}'(x) = \sigma(x) + x \cdot \sigma(x)(1 - \sigma(x)) $$ 该梯度在训练中更稳定，适合深层网络优化。 #### 4. 深度学习中的应用优势 - **缓解梯度消失**：负区间的微小梯度有助于反向传播时信息传递。 - **模型泛化**：平滑的激活函数可提升模型对噪声的鲁棒性。 - **替代传统函数**：在Transformer、ResNet等模型中逐步替代ReLU或GELU。 ```python import numpy as np import matplotlib.pyplot as plt def silu(x): return x * (1 / (1 + np.exp(-x))) x = np.linspace(-5, 5, 100) y = silu(x) plt.plot(x, y, label='SiLU') plt.xlabel('x') plt.ylabel('SiLU(x)') plt.title('SiLU激活函数图像') plt.grid(True) plt.legend() plt.show() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值