激活函数Elu、Gelu、Swish、Silu、Sigmoid

转载 已于 2024-09-06 13:49:16 修改 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://pytorch.org/docs/stable/generated/torch.nn.GELU.html
文章标签：

#python #开发语言

于 2023-04-16 20:16:53 首次发布
文章探讨了三种不同的激活函数在神经网络中的应用，包括ReLU的线性特性，GELU的高斯误差线性单元，以及Swish函数（又称Silu），并提供了PyTorch库中对GELU的实现链接，强调了这些函数对模型性能的影响。
部署运行你感兴趣的模型镜像

先来张效果对比图：
在这里插入图片描述

Sigmoid

不过（0,0）点：
在这里插入图片描述

ELU（Exponential Linear Unit）

在这里插入图片描述

RELU (Rectified Linear Unit)

在这里插入图片描述

GELU(Gaussian Error Linear Units)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Swish 激活函数也叫Silu

在这里插入图片描述
转载自：

  1. https://mp.weixin.qq.com/s/BY5_NKrSOMQ0o4GxWUeYKA
  2. https://pytorch.org/docs/stable/generated/torch.nn.GELU.html
  3. https://blog.youkuaiyun.com/renwudao24/article/details/44465407

您可能感兴趣的与本文相关的镜像

PyTorch 2.9

PyTorch 2.9

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

taoqick
关注
激活函数：ReLU、GELU、SiLU、Swish、SwiGLU
u013250861的博客
06-24 908
使用场景推荐函数理由快速训练、小模型、CNNReLU简单高效，部署友好NLP 编码器（BERT 等）GELU收敛快、平滑、泛化能力强SiLU替代 GELU，训练稳定图像模型（EfficientNet）Swishβ 可调，性能更强大语言模型（PaLM/GPT-4）SwiGLU强表达力，尤其适合大型 FFN 层生成五者的可视化曲线对比图分析它们在梯度饱和区的行为差异结合论文提供 ablation study 数据对比是否需要深入哪一部分？
激活函数：SiLU、Swish、SwiGLU
u013250861的博客
06-24 307
│ Swish ││ (β=1)▼Swish 用作激活函数（非门控）▼│ SwiGLU │。
《南溪的目标检测学习笔记》——激活函数的学习笔记
墨门
01-26 3565
1 ReLU——最常用的激活函数 我们可以看看ReLU的图像 2 SiLU——较为平滑的激活函数 可以看看SiLU的图像
SiLU 激活函数
最新发布
彬彬侠的博客
10-28 1542
SiLU激活函数（Sigmoid Linear Unit）是一种平滑、可导的激活函数，定义为x·sigmoid(x)。相比ReLU，SiLU在负区间保留部分信息而非直接截断，具有连续梯度和自门控特性，能避免神经元死亡问题。虽然计算成本略高于ReLU，但其平滑性在YOLO系列和Transformer混合网络中展现出更好的训练稳定性和精度。SiLU可视为Swish-1的特例，通过柔和的非线性平衡了表示能力与优化效率，成为现代检测网络的首选激活之一。
激活函数汇总
Thomas_Cai的记忆殿堂
07-18 1088
常见激活函数汇总，包括函数、图像、优缺点、使用场景
激活函数小结：ReLU、ELU、Swish、GELU等
beingstrong的博客
10-14 1万+
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
Silu、Swish、SwiGLU、GELU —— Qwen中的激活函数
moment8aVry的博客
07-17 1171
在Qwen2.5和Qwen3的MLP部分使用的激活函数是Silu，从源代码中可以看到，config.hidden_act==silu， 对应的激活函数就是nn.SiLU。在技术报告中之所以会说使用的技术是SwiGLU，是因为采用了门控机制。，从形式上看确实如此，但实际上，这个1.702是一篇研究对GELU进行近似拟合得到的参数，本质上激活函数的曲线是与GELU基本一致，只是计算上采用了类似Swish的更简单的计算方法。GLU使用的是sigmoid激活函数，而SwiGLU使用的是Swish激活函数。
大型语言模型训练中的激活函数演化：ReLU、GELU、Swish/SiLU、QuickGELU、SwiGLU
u013250861的博客
06-24 270
在大模型时代，激活函数的设计不再仅是数学上的优雅，更关乎训练效率、梯度稳定性和最终性能。从最初的ReLU，到GELU主导NLP，再到Swish家族和门控机制的加入，我们见证了激活函数从“线性阈值”到“自适应概率控制”的进化。未来的激活函数，可能更加定制化、动态化，甚至与模型结构共同进化。对于LLM开发者而言，选择合适的激活函数依然是提升模型性能的关键步骤之一。如需对应论文、图表和实验数据源，请随时提出，我可以为你补充完整参考资料或代码实现。
机械学习常用的激活函数（ReLU 、Sigmoid、Tanh 、Softmax、Leaky ReLU、GELU、Swish、ELU、线性激活函数）
fansv587的博客
02-15 1061
常见常用的激活函数（ReLU 、Sigmoid、Tanh 、Softmax、Leaky ReLU、GELU、Swish、ELU、线性激活函数）
激活函数总结（二）：ELU、SELU、GELU激活函数
走在深度学习前沿的小宋
08-08 5475
本文介绍了一些常用的激活函数，包括：ELU、SELU、GELU等激活函数及其在当前激活函数众多的情况下使用的环境。总体而言：GELU激活函数代替RELU成为了一种更为普遍的激活函数！！！
新的激活函数B-SiLU和NeLU：ReLU函数的复兴
AI浩
06-14 906
在深度学习架构中建模复杂的激活函数已成为一个独特的研究方向。诸如GELU、SELU和SiLU等函数提供了平滑的梯度和改进的收敛特性，使其成为最先进模型中的热门选择。尽管存在这一趋势，但经典的ReLU函数仍因其简洁性、内在稀疏性以及其他有利的拓扑特性而备受青睐。然而，ReLU单元容易出现不可逆的失活现象——即所谓的“ReLU死亡问题”——这限制了其整体有效性。
SiLU激活函数
m0_69331164的博客
12-30 2153
SiLU（Sigmoid-Weighted Linear Unit），也被称为，是一种现代激活函数，结合了线性和非线性特性，由Google的研究人员在2017年提出。定义如下：图像如下：可以看到它在 x>0 时接近线性，而在 x
SiLu激活函数解释
热门推荐
m0_63260018的博客
06-04 4万+
在yolo v5中，我们使用了SiLu激活函数。
YOLOv5改进系列(二) 更换激活函数SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC等
专注于人工智能学习，总结
12-14 8289
1.1 什么是激活函数？在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？首先，我们知道神经网络模拟了人类神经元的工作机理，**激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。**
【PyTorch】SiLU激活函数
算法与编程之美
08-26 7097
SiLU激活函数
神经网络 - 激活函数（Swish函数、GELU函数）
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
02-28 3502
本文我们学习了神经网络的两种激活函数，分别是Swish函数和GELU函数，为了更好的理解GELU函数，还附加了概率密度函数和累积分布函数的介绍。知识的学习，有时晦涩难懂，但总归需要日积月累、慢慢消化，希望跟我一样正在学习神经网络的同学，不要放弃，持之以恒，向着目标勇敢出发！
pytorch中SiLU激活函数
qq_45690024的博客
07-22 2万+
silu (x)=x∗ sigmoid(x)
【Llama源码】激活函数--SiLU (Sigmoid Linear Unit)
OldButSimple的博客
05-29 1093
【代码】【Llama源码】激活函数--SiLU (Sigmoid Linear Unit)
Swish就是SiLU吗
05-24
### Swish激活函数与SiLU激活函数的关系及等价性 Swish激活函数和SiLU（Sigmoid Linear Unit）激活函数实际上是相同的函数形式。它们都定义为 \( f(x) = x \cdot \sigma(x) \)，其中 \( \sigma(x) \) 表示 Sigmoid 函数，即 \( \sigma(x) = \frac{1}{1 + e^{-x}} \)[^3]。 #### 定义上的相同性 - **Swish**：最初由 Google 提出并命名，其表达式为 \( f(x) = x \cdot \text{sigmoid}(x) \)[^1]。 - **SiLU**：也被称作 ELU 的变体之一，同样具有 \( f(x) = x \cdot \text{sigmoid}(x) \) 的形式[^5]。 因此，在数学定义上，Swish 和 SiLU 是完全一致的。两者的差异主要体现在名称的不同及其应用场景的选择上。 #### 性能特点对比 两者共享以下特性： - **平滑性**：由于引入了 Sigmoid 函数，Swish/SiLU 均表现为平滑函数，这有助于减少优化过程中的震荡行为[^3]。 - **非单调性**：在负值区间内存在一个小幅度的正梯度，这种性质可以帮助缓解梯度消失问题，并增强模型捕捉复杂模式的能力[^3]。 尽管如此，实际应用中可能会因为实现细节或框架支持程度不同而导致细微差别。例如某些深度学习库可能对其中一个版本进行了特定优化处理从而影响最终效果表现。 以下是基于PyTorch的一个简单实现例子来展示如何构建这两种功能实际上是一样的： ```python import torch import torch.nn as nn class Swish(nn.Module): def forward(self, x): return x * torch.sigmoid(x) class SiLU(nn.Module): def forward(self, x): return x * torch.sigmoid(x) # 测试两种模块是否相等 swish_module = Swish() silu_module = SiLU() input_tensor = torch.tensor([-2., -1., 0., 1., 2.]) print("Swish Output:", swish_module(input_tensor)) print("SiLU Output:", silu_module(input_tensor)) ``` 运行以上代码会发现对于同样的输入数据二者产生的输出结果完全一样，再次验证了他们的本质一致性。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值